<p>为了买东西，继续赚钱，大家多支持。</p>
<p>Contents
1 Introduction 1
1.1 What is Data Mining? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Different Goals and Styles of Data Mining . . . . . . . . . . . . . . . 3
1.1.2 What can we do with Data Mining? . . . . . . . . . . . . . . . . . . . 4
1.1.3 The Virtuous Cycle of Data Mining . . . . . . . . . . . . . . . . . . . 7
1.1.4 Predictive Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 What is Target Selection in Direct Marketing? . . . . . . . . . . . . . . . . . . 12
1.2.1 Target Selection Methods - Main Groups . . . . . . . . . . . . . . . . 13
1.2.2 RFM-Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Evaluation of Target Selection Models . . . . . . . . . . . . . . . . . . . . . . 15
1.3.1 Gain and Hit Probability Charts . . . . . . . . . . . . . . . . . . . . . 15
1.3.2 Statistical Cross-validation Measures . . . . . . . . . . . . . . . . . . 18
1.3.2.1 Parity Tests . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.2.2 Mean and Standard Deviation of Gain and Hit Probability
Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4 Chapter Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 Modeling Charity Donations 23
2.1 Problem Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Data Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3 Target Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.1 Maximizing the Number of Responders (Donations) . . . . . . . . . . 27
2.3.2 Maximizing the Amount of Money Received (Profit) . . . . . . . . . . 28
2.4 Data Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Data Mining and Target Selection Techniques 33
3.1 Statistical Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2.1 Attribute Selection Measure . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.2 Tree Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.1 Training Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.2 Radial Basis Functions Networks (RBFN) . . . . . . . . . . . . . . . . 44
ix
x CONTENTS
3.4 K-Nearest Neighbor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5 Fuzzy Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5.1 Fuzzy Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5.1.1 A Fuzzy Clustering Approach to Target Selection . . . . . . 49
3.5.2 Fuzzy Clustering with Gain Chart Analysis . . . . . . . . . . . . . . . 50
3.5.3 Takagi-Sugeno and Singleton Fuzzy Models . . . . . . . . . . . . . . 53
3.5.3.1 Data Driven Identification of Takagi-Sugeno and Singleton
Fuzzy Models . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.4 Optimization of Takagi-Sugeno and Singleton Fuzzy Models using Genetic
Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.4.1 Fuzzy Model Representation . . . . . . . . . . . . . . . . . 56
3.5.4.2 Selection/Objective Function . . . . . . . . . . . . . . . . . 57
3.5.4.3 Genetic Operators . . . . . . . . . . . . . . . . . . . . . . . 58
3.5.4.4 Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.5.4.5 GA with Constrained Search Space . . . . . . . . . . . . . . 60
4 Commercial Data Mining Software Tools 61
4.1 Enterprise Miner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1.1 Regression Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.2 Tree Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.3 Neural Network Node . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.4 DmNeural Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1.5 Memory Based Reasoning Node . . . . . . . . . . . . . . . . . . . . . 72
4.2 Clementine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2.1 Linear Regression Node . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.2 Logistic Regression Node . . . . . . . . . . . . . . . . . . . . . . . . 78
4.2.3 Build C5.0 Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.2.4 C&R Tree Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.2.5 Train Net Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5 Training the Target Selection Models 83
5.1 Maximizing the Number of Responders (Donations) . . . . . . . . . . . . . . . 84
5.1.1 Using Enterprise Miner . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.1.2 Using Clementine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.1.3 Using Fuzzy Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.2 Maximizing the Amount of Money Received (Profit) . . . . . . . . . . . . . . 94
5.2.1 Using Enterprise Miner . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.2.2 Using Clementine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.3 Using Fuzzy Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6 Comparing the Target Selection Models 99
6.1 Models that Predict the Number of Responders . . . . . . . . . . . . . . . . . 99
6.1.1 Comparison using Misclassification Rate and Paired T-Tests . . . . . . 99
CONTENTS xi
6.1.2 Comparison using Hit Probability (Response) Charts . . . . . . . . . . 102
6.2 Models that Predict the Amount of Money Received . . . . . . . . . . . . . . . 105
6.2.1 Comparison using Mean Squared Error and Paired T-Tests . . . . . . . 105
6.2.2 Comparison using Gain Charts . . . . . . . . . . . . . . . . . . . . . . 108
7 Conclusions 111
A Paired T-Tests: DONIND 115
B Paired T-Tests: DONAMT 123
C Structure of the Final Models: DONIND 129
C.1 Classification and Regression Tree (CART) . . . . . . . . . . . . . . . . . . . 129
C.2 Radial Basis Function Network . . . . . . . . . . . . . . . . . . . . . . . . . . 131
C.3 Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
C.4 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
C.5 Fuzzy Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
C.5.1 Takagi-Sugeno (FCM) . . . . . . . . . . . . . . . . . . . . . . . . . . 134
C.5.2 Takagi-Sugeno (GK) Optimized using a GA . . . . . . . . . . . . . . . 137</p>