统计学习理论最新力作！Statistical Learning from a Regression Perspective-经管之家官网！

经济学管理学金融学统计学

您当前的位置> 统计>>

统计学习理论最新力作！Statistical Learning from a Regression Perspective

发布：sunjijia | 分类：统计学

关于本站

人大经济论坛-经管之家：分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!

提供"微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯"等虚拟账号交易，真正实现买卖双方的共赢。【请点击这里访问】

TOP热门关键词

专题页面精选

扫码加入统计交流群

Statistical Learning from a Regression Perspective
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .VII
1 Statistical Learning as a Regression Problem . . . . . . . . . . . . . . 1
1.1 Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Setting the Regression Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 The Transition to Statistical Learning . . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 Some Goals of Statistical Learning . . . . . . . . . . . . . . . . . . . 9
1.3.2 Statistical Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.3 Some Initial Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.4 A Cartoon Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.5 A Taste of Things to Come . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4 Some Initial Concepts and Definitions . . . . . . . . . . . . . . . . . . . . . . 22
1.4.1 Overall Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4.2 Loss Functions and Related Concepts . . . . . . . . . . . . . . . . 23
1.4.3 Linear Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.4 Degrees of Freedom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.4.5 Model Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.4.6 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.4.7 Basis Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.5 Some Common Themes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.6 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2 Regression Splines and Regression Smoothers . . . . . . . . . . . . . 49
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.2 Regression Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.2.1 Applying a Piecewise Linear Basis . . . . . . . . . . . . . . . . . . . 49
2.2.2 Polynomial Regression Splines . . . . . . . . . . . . . . . . . . . . . . 53
2.2.3 Natural Cubic Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2.4 B-Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.3 Penalized Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.3.1 Shrinkage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
XIV Contents
2.3.2 Shrinkage and Statistical Inference . . . . . . . . . . . . . . . . . . 68
2.3.3 Shrinkage: So What?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.4 Smoothing Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.4.1 An Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.5 Locally Weighted Regression as a Smoother . . . . . . . . . . . . . . . . . 73
2.5.1 Nearest Neighbor Methods . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.5.2 Locally Weighted Regression . . . . . . . . . . . . . . . . . . . . . . . . 75
2.6 Smoothers for Multiple Predictors . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.6.1 Smoothing in Two Dimensions . . . . . . . . . . . . . . . . . . . . . . 81
2.6.2 The Generalized Additive Model . . . . . . . . . . . . . . . . . . . . 84
2.7 Smoothers with Categorical Variables . . . . . . . . . . . . . . . . . . . . . . 88
2.7.1 An Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
2.8 Locally Adaptive Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.9 The Role of Statistical Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
2.9.1 Some Apparent Prerequisites . . . . . . . . . . . . . . . . . . . . . . . 93
2.9.2 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
2.9.3 Statistical Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2.9.4 Can Asymptotics Help? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.10 Software Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.11 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
3 Classification and Regression Trees (CART) . . . . . . . . . . . . . . . 103
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.2 An Overview of Recursive Partitioning with CART . . . . . . . . . . 105
3.2.1 Tree Diagrams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.2.2 Classification and Forecasting with CART . . . . . . . . . . . . 108
3.2.3 Confusion Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.2.4 CART as an Adaptive Nearest Neighbor Method . . . . . . 110
3.2.5 What CART Needs to Do . . . . . . . . . . . . . . . . . . . . . . . . . . 112
3.3 Splitting a Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
3.4 More on Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
3.4.1 Fitted Values and Related Terms . . . . . . . . . . . . . . . . . . . . 117
3.4.2 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
3.5 Classification Errors and Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.5.1 Default Costs in CART . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.5.2 Prior Probabilities and Costs . . . . . . . . . . . . . . . . . . . . . . . 125
3.6 Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
3.6.1 Impurity Versus Rα(T) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
3.7 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
3.7.1 Missing Data with CART . . . . . . . . . . . . . . . . . . . . . . . . . . 132
3.8 Statistical Inference with CART . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
3.9 Classification Versus Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . 138
3.10 Varying the Prior, Costs, and the Complexity Penalty . . . . . . . . 139
3.11 An Example with Three Response Categories . . . . . . . . . . . . . . . 145
3.12 CART with Highly Skewed Response Distributions . . . . . . . . . . 149
Contents XV
3.13 Some Cautions in Interpreting CART Results . . . . . . . . . . . . . . . 149
3.13.1 Model Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
3.13.2 Model Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.14 Regression Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
3.14.1 An Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
3.14.2 Some Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.14.3 Multivariate Adaptive Regression Splines (MARS) . . . . . 158
3.15 Software Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
3.16 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4 Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5 Random Forests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
6 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Contents XVII
7 Support Vector Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP

本文关键词：

本文论坛网址：https://bbs.pinggu.org/thread-1006140-1-1.html

上一篇 | 八卦一下：中大管院李新春为何不当院长了 ...

下一篇 | 国家自科课题申请者一定要有SCI之类的论文 ...

统计学精彩帖子推荐更多

您可能感兴趣的文章

本站推荐的文章

人气文章

本文标题：统计学习理论最新力作！Statistical Learning from a Regression Perspective

本文链接网址：https://bbs.pinggu.org/jg/tongji_tongjixue_1006140_1.html

1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责；
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。

统计学习理论最新力作！Statistical Learning from a Regression Perspective-经管之家官网！

统计学