发帖
雷达卡
GBDT对于简单的损失函数，如指数损失和平方损失，每一次提升都较为简单，但是对于一般的损失函数（如绝对损失），优化难度大大增加。因此 GBDT 利用损失函数负梯度在当前模型的值作为提升树中残差的近似值，拟合一个回归树。
GBDT 的具体算法如下：
- 初始化模型
2.循环训练 K 个模型𝑘 = 1,2, … ,𝐾
（1） 计算负梯度：对于i = 1,2, … , M
（2） 以负梯度𝑟𝑘𝑖训练模型，得到第 k 颗树的叶结点区域$𝑅_{𝑘𝑗}$，𝑗 = 1,2, … ,𝐽 （3） 对𝑗 = 1,2, … ,𝐽，计算：
（3）更新模型：
XGBoost 是一种高效的 Boosting 训练器，可以实现 GBDT 的功能。且不同于一般的GBDT，XGBoost 采用损失函数的二阶泰勒展开来近似原损失函数，同时在损失函数后加入惩罚项：
以树模型作为弱分类器为例，得到区别于 GBDT 构造树的过程。
首先将𝑓𝑡和Ω的表达式带入目标函数中，得到目标函数的如下形式：
由此可得函数的极小值点：
每次对已有的叶子加入一个分割时，只需通过以下式子判断是否进行分割：
全文见pdf
京公网安备 11010802022788号
