最近在看李航的《统计学习方法》，在看的过程中自己整理了一份笔记
整理这份笔记耗时一个月，中间稍有断续，希望对各位ML爱好者有帮助啦。
笔记的内容包括：
1·书本某些证明的推导
2·个人对某些问题的思考
3·1-10章算法的R语言实现
（自己根据书本的算法编了一批函数，这种尝试还是相当有趣的）
4·用编写的函数重现了书本许多例题的求解过程，并以书本的例题核对编写的函数的正确性
编写这本笔记的初衷：
1·网上有一些用python实现《统计学习方法》里算法的博文，奈何我并不会python
2·找不到一本成册的便于阅读的学习笔记
......
笔记简介：
名称：李航《统计学习方法》笔记——从原理到实现：基于R
page：221
目录：
第一章统计学习方法概论 6
1.6.2 泛化误差上界（P16-P17） 6
1.4.2 过拟合与模型选择（P11） 8
第二章感知机 11
2.3.1 感知机学习算法的原始形式（P28-P29） 11
2.3.2 算法的收敛性（Novikoff定理）（P31-P33） 12
2.3.3 感知机学习算法的对偶形式（P33-P34） 14
2.3.1 感知机算法的原始形式（P28-P29） 15
2.3.3 感知机学习算法的对偶形式（P33-P34） 22
第三章 近邻法 26
3.2.2 距离度量（P39） 26
3.3.1 构造 树（P41-P42） 30
第四章朴素贝叶斯算法 36
4.1.1 基本方法（P47-P48） 36
4.1.2 后验概率最大化的含义（P48-49） 36
4.2.1 极大似然估计（P49） 38
4.2.2 学习与分类算法（P50-51） 39
第五章决策树 46
5.2.2 信息增益（P60-P61） 46
5.2.3 信息增益比（P63） 47
5.3.1 ID3算法/C4.5算法（P63-P65） 52
5.4 决策树的剪枝（P65-P67） 56
5.5.1 CART生成（P68-P71） 59
5.5.2 CART剪枝（P72-P73） 67
第六章逻辑斯蒂回归与最大熵模型 73
6.1.3 逻辑斯蒂回归模型的参数估计（P79） 73
6.2.3 最大熵模型的学习（P83-P85） 91
6.2.4 极大似然估计（P87） 92
6.3.1 改进的迭代尺度算法（P89-P91） 93
第七章支持向量机 94
7.1.3 间隔最大化（P101） 94
7.1.4 学习的对偶算法（P104） 96
7.2.3 支持向量（P113） 96
7.4 序列最小最优化算法（P126） 97
第八章提升方法 112
8.1.2 Adaboost算法（P139） 112
8.2 AdaBoost算法的训练误差分析（P142-P145） 113
8.3.2 前向分步算法与AdaBoost（P145-P146） 114
8.4.3 梯度提升（P151） 116
8.1.3 AdaBoost的例子（P140） 117
第九章EM算法及其推广 126
9.2 EM算法的收敛性（P161） 126
9.3.1 高斯混合模型（P163） 126
9.4 EM算法的推广（P167） 127
9.3.1 高斯混合模型的EM算法（165） 128
第十章隐马尔可夫模型 132
10.2.2 前向算法（P175-P176） 132
10.2.3 后向算法（P178-P179） 133
10.4.2 维特比算法（P185） 135
10.2.4 一些概率与期望值的计算（P179-P180） 136
10.2.2 前向算法（P175-P177） 137
10.2.3 后向算法（P178） 143
10.2.4 一些概率与期望值的计算（P179-P178） 146
10.3.1 监督学习方法（P180） 151
10.3.2 Baum-Welch算法（P181-P184） 156
10.4.1 近似算法（P184） 162
10.4.2维特比算法（P185-P186） 166
十一章条件随机场 173
参考文献 174
附录1 例1.1的R实现/训练误差与预测误差的对比 177
附录2 线性可分/不可分感知机的R实现 179
附录3 离散特征的2维平衡kd树R代码 182
附录4 离散特征的朴素贝叶斯法R代码 186
附录5 决策树的实现的R代码 188
附录6 逻辑斯蒂回归及最大熵模型的R实现 192
附录7 基于SMO算法的支持向量机的R实现 200
附录8 提升算法的R代码 206
附录9 EM算法的R实现 209
附录10 HMM模型的R实现 211