Table of Contents
Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Approach to Model Building . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Architectural Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Practical Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 3
R Code Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 4
Reading Data In . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Binning Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Example of Binning or Coarse Classifying in R: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Breaking Data into Training and Test Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 4
Traditional Credit Scoring . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Traditional Credit Scoring Using Logistic Regression in R . . . . . . . . . . . . . . . . . . . . . . . . 5
Calculating ROC Curve for model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Calculating KS Statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 5
Calculating top 3 variables affecting Credit Score Function in R . . . . . . . . . . . . . . . . . . . . . 6
Cutting Edge techniques Available in R . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . 7
Using Bayesian N Using Traditional recursive Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . 7
Comparing Complexity and out of Sample Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Compare ROC Performance of Trees . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 10
Converting Trees to Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Bayesian Networks in Credit Scoring . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 12
Using Traditional recursive Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Comparing Complexity and out of Sample Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Compare ROC Performance of Trees . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Converting Trees to Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Conditional inference Trees . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 18
Using Random Forests . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . 20
Calculating Area under the Curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Cross Validation . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Cutting Edge techniques: Party Package(Unbiased Non parametric methods-Model
Based Trees) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Appendix of Useful Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Appendix: German Credit Data . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35