【机器学习算法讨论】stacking融合真的会显著提升效果吗？

谢谢分享

楼主，Stacking方法我觉得并不是说所有情况都是最优的，举个例子：比如你用Stacking思路将Random Forest和XGBoost预测结果进行融合（先不讨论用什么模型进行融合），Stacking方法可能不是每次最优的，但可能是最稳定的。比如针对不同的数据集，RF与XGBoost预测精度可能时高时低，但Stacking的预测精度可能较优，且比较稳定。
另外，对于Stacking方法有兴趣可以一起讨论哈

jmq19950824 发表于 2018-10-9 09:27
楼主，Stacking方法我觉得并不是说所有情况都是最优的，举个例子：比如你用Stacking思路将Random Forest和X ...

你说的稳定是不是类比于集成学习？但是RF和XGB本身都是集成学习的方法，对再次集成到底有多大效果好像确实难以量化

阿扁V5 发表于 2018-10-9 10:37
你说的稳定是不是类比于集成学习？但是RF和XGB本身都是集成学习的方法，对再次集成到底有多大效果好像确实 ...

现实一点的问题，现在国内外单个模型（Logistic KNN SVM NN等）进行集成——AdaBoost XGBoost等，相关的论文已经太多了，你研究这个竞争力也不大，除非是对于某个模型进行改进或者关系稿。。。

个人观点是集成结果上再融合一道，国外比较新的论文已经有这么做的了。包括Kaggle上面冠军算法也有一部分这样搞得

jmq19950824 发表于 2018-10-9 10:40
现实一点的问题，现在国内外单个模型（Logistic KNN SVM NN等）进行集成——AdaBoost XGBoost等，相关的论 ...

目前倒没有发论文的想法，只是在工程实践中碰到的问题下拿出来讨论一下

支持一下，感谢分享

stacking效果如果不如单个模型好，就用单个模型呗。我觉得把模型结果分析一下看看什么原因造成的很重要。

非常感谢

感谢分享

楼主，你好，请问你最后用的什么策略，我也遇到跟你一样的情况。本来想提升一点点的，结果降了。