发帖
雷达卡
AdaBoost和Gradient Boost –两种流行的集成模型技术之间的比较研究
组合两个或多个分类器或模型并进行预测（通过投票进行分类或通过对数值进行平均）来提高性能准确性称为Ensemble模型。当模型不稳定（灵活）导致从总体中抽取的不同样本集之间存在较大差异时，它们将更加有用和熟练。这背后的基本直觉是使模型在给定的数据集本身内具有最大方差。为了简单起见，此处将决策树模型用作基础分类器。
AdaBoost
这是一种合奏技术，其中许多弱学习者组合在一起形成一个强学习者。在这里，通常，每个弱学习者都被开发为决策树桩（树桩是只有一个拆分和两个终端节点的树），用于对观察结果进行分类。
与随机森林相反，这里的每个分类器都基于分类器的性能为其分配了不同的权重（当准确性更高时，将更大的权重分配给分类器，反之亦然），权重也将分配给观测值的末尾。在每一轮中，错误预测的观测值会增加权重，从而导致它们在下一个分类器样本中被更频繁地选择的可能性。因此，连续的训练集取决于其先前的训练集，因此在所构建的树之间存在相关性。
因此，Adaboost通过将权重分配给每棵树末端的观察值和权重（分数）来分配给每个分类器，从而提高了预测准确性。因此，在Adaboost中，每个分类器在最终预测中的权重都不同，而随机森林中的所有树都被分配了相同的权重。
AdaBoost梯度提升
来源：https : //en.wikipedia.org/wiki/Boosting_( machine_learning)#/ media/ File: Ensemble_Boosting.svg
从数学上讲，分类器的错误率由-
AdaBoost梯度增强-AdaBoost错误
其中w j 是
分配给训练集D i的 每个观察值的权重[最初，对于第一个分类器，它是均匀分布的]。我不过是Identity函数，用于过滤出分类器做出的错误预测。
分类器的重要性由-
AdaBoost梯度增强-AdaBoost分类器的重要性
更新观测权重的机制是-
AdaBoost梯度增强-更新权重
函数exp （-alpha（i）） 减少了正确分类的观察值的权重，而exp （alpha（i）） 增加了错误分类的观察值的权重，因此，增加了被选择的可能性。z j 是归一化因子，用于重新分配观察权重，以使所有权重之和为1。
通过汇总每个分类器做出的预测的加权平均值，可以得出每个观测值的最终预测。AdaBoost可能会导致过度拟合。因此，没有。应检查并限制树木数量。
梯度提升机（GBM）
就像AdaBoost一样，Gradient Boost也结合了no。弱者组成一个强大的学习者。在此，当前分类器的残差成为构建树的下一个连续分类器的输入，因此它是加法模型。分类器以逐步方式捕获残差，以便捕获数据中的最大方差，这是通过将学习率引入分类器来完成的。
通过这种方法，我们正朝着正确的方向缓慢地朝着更好的预测方向移动（这是通过识别负梯度并向相反方向移动以减少损耗来完成的，因此，它被称为与梯度下降一致的梯度提升，其中采用了类似的逻辑）。因此，没有。在分类器中，我们得出的预测值与观察值非常接近。
最初，构建具有单个节点的树，该树在分类问题的回归或Y的对数（奇数）的情况下预测Y的合计值，然后在先前分类器的残差上生长更深的树。通常，在GBM中，每棵树都生长有8-32个终端节点，并且大约会生长100棵树。每棵树的学习率都是恒定的，因此模型可以在正确的方向上采取小步骤来捕获方差并在其上训练分类器。与Adaboost不同，此处所有树木的权重均相等。
来源：R的动手机器学习
让我们逐步执行GBM算法，
输入数据（x i，y i） ，其中i = 1（1）n，其中
n为总编号。样本中的观测值和微分损失
函数L（Y i ，F（x））。
对于回归问题，损失函数有不同的变体，例如绝对损失，Huber损失。通常，出于计算简单的原因，我们使用平方残差损失。对于分类问题，根据对数似然率的估计损失函数，将其转换为对数（奇数）。
步骤1：使用常数值初始化模型
其中L是损失函数，观察到Y i，而γ是预测值。这是第一棵单叶生长的树，之后再构建更深的树。通常，它是用于回归的Y i值和用于分类的log（odds）值的平均值。
步骤2：对于m = 1到M，其中M是总数。要建造的树木
该方程式给出了每棵树的每个观测值的负梯度，其中包括先前分类器的预测值。
该方程式以最小的损失函数找到每棵树的每个末端节点的聚集预测值，包括先前的学习者预测
其中n是每棵树的学习率，它降低了每棵树对最终预测的影响，从而提高了准确性。
步骤3：输出F M （x）
因此，GBM通过累加所有树的输入来做出最终预测。
AdaBoost和Gradient Boost之间的比较
序号Adaboost梯度提升
1个通过高权重数据点识别以前模型的缺点的累加模型。可加模型，其中以前的模型的缺点通过梯度来识别。
2这些树通常作为决策树桩种植。树木的生长深度更大，通常在8到32个终端节点之间。
3每个分类器都有基于其性能分配给最终预测的不同权重。所有分类器均权衡，其预测能力受到学习率的限制，以提高准确性。
4它为分类器和观测值赋予权重，从而捕获数据中的最大方差。它在先前分类器的残差上构建树，从而捕获数据的方差。
题库
京公网安备 11010802022788号
