这是统计学Machine Learning领域中美国高校研究生课程所使用的经典教材,也在统计系和计算机系研究中作为参考书用。 我需要论坛币下载一些高维的书;
教材目录如下:
而且在preface内可以找到 教材中使用的数据和程序位置;
----------------------------------------------------------
Contents
Preface vii
Mathematical notation xi
Contents xiii
1 Introduction 1
1.1 Example: Polynomial Curve Fitting . . . . . . . . . . . . . . . . . 4
1.2 Probability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4 The Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . 33
1.5 Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.6 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2 Probability Distributions 67
2.1 Binary Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.2 Multinomial Variables . . . . . . . . . . . . . . . . . . . . . . . . 74
2.3 The Gaussian Distribution . . . . . . . . . . . . . . . . . . . . . . 78
2.4 The Exponential Family . . . . . . . . . . . . . . . . . . . . . . . 113
2.5 Nonparametric Methods . . . . . . . . . . . . . . . . . . . . . . . 120
3 Linear Models for Regression 137
3.1 Linear Basis Function Models . . . . . . . . . . . . . . . . . . . . 138
3.2 The Bias-Variance Decomposition . . . . . . . . . . . . . . . . . . 147
3.3 Bayesian Linear Regression . . . . . . . . . . . . . . . . . . . . . 152
3.4 Bayesian Model Comparison . . . . . . . . . . . . . . . . . . . . . 161
3.5 The Evidence Approximation . . . . . . . . . . . . . . . . . . . . 165
3.6 Limitations of Fixed Basis Functions . . . . . . . . . . . . . . . . 172
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4 Linear Models for Classification 179
4.1 Discriminant Functions . . . . . . . . . . . . . . . . . . . . . . . . 181
4.2 Probabilistic Generative Models . . . . . . . . . . . . . . . . . . . 196
4.3 Probabilistic Discriminative Models . . . . . . . . . . . . . . . . . 203
4.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . 213
4.4.1 Model comparison and BIC . . . . . . . . . . . . . . . . . 216
4.5 Bayesian Logistic Regression . . . . . . . . . . . . . . . . . . . . 217
4.5.1 Laplace approximation . . . . . . . . . . . . . . . . . . . . 217
4.5.2 Predictive distribution . . . . . . . . . . . . . . . . . . . . 218
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
5 Neural Networks 225
5.1 Feed-forward Network Functions . . . . . . . . . . . . . . . . . . 227
5.2 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
5.3 Error Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . 241
5.4 The Hessian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 249
5.5 Regularization in Neural Networks . . . . . . . . . . . . . . . . . 256
5.6 Mixture Density Networks . . . . . . . . . . . . . . . . . . . . . . 272
5.7 Bayesian Neural Networks . . . . . . . . . . . . . . . . . . . . . . 277
6 Kernel Methods 291
7 Sparse Kernel Machines 325
8 Graphical Models 359
9 Mixture Models and EM 423
10 Approximate Inference 461
11 Sampling Methods 523
12 Continuous Latent Variables 559
13 Sequential Data 605
13.1 Markov Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
13.2 Hidden Markov Models . . . . . . . . . . . . . . . . . . . . . . . 610
13.3 Linear Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . 635
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
14 Combining Models 653
14.1 Bayesian Model Averaging . . . . . . . . . . . . . . . . . . . . . . 654
14.2 Committees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
14.3 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
14.4 Tree-based Models . . . . . . . . . . . . . . . . . . . . . . . . . . 663
14.5 Conditional Mixture Models . . . . . . . . . . . . . . . . . . . . . 666
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674
Appendix A Data Sets 677
Appendix B Probability Distributions 685
Appendix C Properties of Matrices 695
Appendix D Calculus of Variations 703
Appendix E Lagrange Multipliers 707
References 711