Longbing Cao · Philip S. Yu · Chengqi Zhang ·Yanchang Zhao
Challenges and Trends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 D3M Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4 Knowledge Actionability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5 D3M AKD Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6 Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Why Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.3 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.3.1 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.3.2 Mining Combined Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.4 The Concept of Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.4.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.4.2 Basic Paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.4.3 Basic Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.5 Multi-Feature Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.5.1 Multi-Feature Combined Patterns . . . . . . . . . . . . . . . . . . . . . . . 126
6.5.2 Pair Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.5.3 Cluster Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.5.4 Incremental Pair Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.5.5 Incremental Cluster Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.5.6 Procedure for Generating Multi-Feature Combined Patterns . 131
6.6 Multi-Method Combined Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.6.1 Basic Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.6.2 Parallel Multi-Method Combined Mining . . . . . . . . . . . . . . . . 133
6.6.3 Serial Multi-Method Combined Mining . . . . . . . . . . . . . . . . . 134
6.6.4 Closed-Loop Multi-Method Combined Mining . . . . . . . . . . . 134
6.6.5 Closed-Loop Sequence Classification . . . . . . . . . . . . . . . . . . . 136
6.7 Case Study: Mining Combined Patterns in E-Government Service
Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.8 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7 Agent-Driven Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.2 Complementation between Agents and Data Mining . . . . . . . . . . . . . 145
7.3 The Field of Agent Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.4 Why Agent-Driven Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.5 What Can Agents Do for Data Mining? . . . . . . . . . . . . . . . . . . . . . . . . 152
7.6 Agent-Driven Distributed Data Mining . . . . . . . . . . . . . . . . . . . . . . . . . 154
7.6.1 The Challenges of Distributed Data Mining . . . . . . . . . . . . . . 154
7.6.2 What Can Agents Do for Distributed Data Mining? . . . . . . . . 154
7.6.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.7 Research Issues in Agent Driven Data Mining . . . . . . . . . . . . . . . . . . . 159
7.8 Case Study 1: F-Trade – An Agent-Mining Symbiont for Financial
Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.9 Case Study 2: Agent-based Multi-source Data Mining . . . . . . . . . . . . 161
7.10 Case Study 3: Agent-based Adaptive Behavior Pattern Mining by
HMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.10.1 System Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Contents
xv
7.10.2 Agent-Based Adaptive CHMM . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.11 Research Resources on Agent Mining . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.11.1 The AMII Special Interest Group . . . . . . . . . . . . . . . . . . . . . . . 167
7.11.2 Related References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.12 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
8 Post Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
8.2 Interestingness Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.3 Filtering and Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
8.4 Visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8.5 Summarization and Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.6 Post-Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.7 Maintenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
9 Mining Actionable Knowledge on Capital Market Data . . . . . . . . . . . . . 181
9.1 Case Study 1: Extracting Actionable Trading Strategies . . . . . . . . . . . 181
9.1.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.1.2 What Is Actionable Trading Strategy? . . . . . . . . . . . . . . . . . . . 182
9.1.3 Constraints on Actionable Trading Strategy Development . . 185
9.1.4 Methods for Developing Actionable Trading Strategies . . . . 189
9.2 Case Study 2: Mining Actionable Market Microstructure Behavior
Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
9.2.1 Market Microstructure Behavior in Capital Markets . . . . . . . 196
9.2.2 Modeling Market Microstructure Behavior to Construct
Microstructure Behavioral Data . . . . . . . . . . . . . . . . . . . . . . . . 196
9.2.3 Mining Microstructure Behavior Patterns . . . . . . . . . . . . . . . . 199
9.2.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
10 Mining Actionable Knowledge on Social Security Data . . . . . . . . . . . . . 203
10.1 Case Study: Mining Actionable Combined Associations . . . . . . . . . . 203
10.1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
10.1.2 Combined Associations and Association Clusters . . . . . . . . . 203
10.1.3 Selecting Interesting Combined Associations and
Association Clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
10.2 Experiments: Mining Actionable Combined Patterns . . . . . . . . . . . . . 207
10.2.1 Mining Multi-Feature Combined Patterns . . . . . . . . . . . . . . . . 208
10.2.2 Mining Closed-Loop Sequence Classifiers . . . . . . . . . . . . . . . 213
10.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
11 Open Issues and Prospects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11.1 Open Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11.2 Trends and Prospects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
xvi
Contents
12 Reading Materials. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.1 Activities on D3M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.2 References on D3M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
12.3 References on Agent Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
12.4 References on Post-analysis and Post-mining . . . . . . . . . . . . . . . . . . . 223
Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


雷达卡


京公网安备 11010802022788号







