发帖
雷达卡
2020/01/05
《百面机器学习-算法工程师带你去面试》读书笔记
《No.5: p40~p44》第二章 模型评估
Q20 模型有哪些验证方法，优缺为何?
1 Holdout检验
1.1 将原始样本随机化分”训练集”和”验证集”，如70%、30%，70%用于训练；30%用于验证。
1.2 缺点: 验证集上计算出来的最后评估指标与原始分组有很大的关系。
2 交叉验证
2.1 K-fold交叉验证: 将样本划分为k个大小相等的样本子集，依次遍历每个子集，以当前子集作为验证集，其余子集作为训练集，进行建模，最后把k次的评估结果的平均值作为最终的评估指标，通常k设为10。
2.2 留p验证: 每次留下p个样本作为验证集，其余样本作为训练集。
3 自助法
3.1 对于总数为n的样本集，进行n次有放回的随机抽样，得到大小为n的训练集。有些样本可能会被重复抽样，也有些样本不会被抽到。
3.2 样本少时可以采用的方法。
Q21 自助法抽样时，对n个样本进行n次自助抽样，当n趋于无穷大时，最后会有多少数据从未被选择过?
1 当样本数很大时，大约有36.8%的样本从未被选择过。
2 一个样本在一次抽样过程中，未被抽中的概率为(1-1/n)。n次抽均未抽中的概率为(1-1/n)^n，当n趋近于无穷大，透过求解，可得概率为36.8%。
Q22 超参数有哪些调优方法?
1 超参数算法包括的要素
1.1 目标函数: 算法最大化或最小化目标
1.2 搜索范围: 通过上下限来决定
1.3 算法的其他参数: 如搜索步长
2 调优方法:
2.1 网格搜索: 查找搜索范围内所有的点来确定最优值。
2.1.1 为避免搜索时间过长，会先使用较广的搜索范围和较大的步长，在逐步缩小范围及步长。
2.1.2 由于目标函数一般是”非凸的”，所以采用此法可能会错过最优值。
2.2 随机搜索:在搜索范围内随机选取样本点，若样本点集足够大，透过此法也能大概率的找到最优值。
2.3 贝叶斯优化算法: 通过对目标函数形状进行学习，找到使目标函数向全局最优值提升的参数。
3 Google为能解决内部大量机器学习模形的参数调优问题，发展了一套超参数调优系统，Google Vizier，可透过迁移学习的概念，从之前调参的经验中学习，为新的算法题出最佳超参数。
京公网安备 11010802022788号
