调节超参数都有哪些方法?

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. 手动调节:

手动参数调节更多的是基于建模者对以往经验的总结，通过修改模型的部分参数，了解模型分数对模型参数变化的敏感性。

2. 网格搜索:

又名穷尽的⽹格搜索（Exhaustive Grid Search）。网格搜索方法是通过设置可能的各超参数集合，将所有集合中可能的组合作为超参数，对模型进行一次训练。n个可能的超参数组合意味着n次模型训练。最后， 网格搜索的返回值是n次模型训练中模型表现最好的超参数组合。因此，网格搜索随设置的超参数个数和集合的提高，呈时间和空间的复杂性。 网格搜索的评分标准可以由用户来指定，例如准确率，精确率，召回率等。

3. 随机搜索:

随机搜索是基于网格搜索的延伸，它与网格搜索一样，需要预先指定超参数的候选集。随机搜索会随机的从 参数候选集中选取参数，训练模型。随机搜索从由所有可能的超参数组合中随机抽取“组合”以训练模型，使两者可以通过设置最大迭代次数，来调节模型的运行次数。相对网格搜索来说，随机搜索的计算成本更低， 结果精度相对较低，它返回一个比较general的模型可能实现的水平。随机搜索与网格搜索的返回值相同， 均是各自策略下模型的最佳超参数。

4. 贝叶斯搜索:

贝叶斯搜索又名贝叶斯优化。它是基于贝叶斯规则（如下图所示），贝叶斯搜索是从随机搜索开始，基于贝叶斯理论逐渐缩⼩搜索空间，即通过随机搜索将可能超参数的先验分布更新为后验分布。在考虑已知信息下帮助缩小“好的”超参数组合的搜索空间。 相较随机搜索而言，贝叶斯搜索会花费更多时间，但仍比网格搜索花费更多时间。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：超参数 General search 贝叶斯理论 迭代次数