装袋、提升和堆栈都是用于组合多个模型的方法。
1装袋bagging :相同的分类器,各个分类器是独立的;使用同一个算法对样本多次训练,建立多个独立的分类器;最终的输出为各个分类器的投票(用于分类)或取平均值(用于数值预测)
2提升adaboost :相同的分类器,各个分类器不是独立的;使用同一个算法对样本迭代训练,后建立的分类器关注于先前建立的分类器不能更好处理的部分数据;最终的输出为各个分类器的加权投票。
3堆栈stack:组合多个不同的分类器(其间是独立的),作为0层分类器,对于他们各自的预测结果,并非采用投票的方式决定最终输出,而是在他们各自的预测结果之上,建立一个元分类器(1层),元分类算法以0层各个分类器的预测结果作为训练数据建立分类器,决定最终输出结果。