楼主: dabap
5204 1

[学科前沿] gradient boosting求助 [推广有奖]

  • 0关注
  • 0粉丝

大专生

46%

还不是VIP/贵宾

-

威望
0
论坛币
2 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
928 点
帖子
17
精华
0
在线时间
63 小时
注册时间
2012-4-1
最后登录
2016-8-8

20论坛币
    之前ltx5151大神帮我解答了关于boosting的疑惑,现在在看gradient boosting的时候,又有一些问题不太明白。
    对于gradient boosting的了解,先看了斯坦福的网上教程 http://v.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html,gradient descent,了解了一下梯度下降的原理,就是对代价函数(损失函数)求导,找到损失函数梯度下降最大的方向,乘以步长,一步一步的达到收敛,即达到代价函数的局部最优解,由于代价函数设置为平方差的形式,最优解只有一个。
    然后在过来看楼主推荐的大牛friedman的文章,http://www-stat.stanford.edu/~jhf/ftp/stobst.pdf。看到第五个公式的时候,又迷惑了,然后找到这个公式的出处,同样是大牛friedman的,《Greedy Function Approximation:A Gradient Boosting Machine》,里面讲对这个公式进行参数优化:
是为了找到梯度下降最大的方向,我的疑问是里面的已经求了一次导了,为梯度方向,那这一步的意义又在哪?有什么数学含义啊?
    困扰了好久,求大神帮助。

最佳答案

ltx5151 查看完整内容

这里面讨论的是在training sample的情况下进行逼近。在此之前,作者讨论的在function space的概念,但是这里要具体讨论如何在有限样本上使用。每个g_m(x_i)都是对应的梯度函数(scaled by step length)在样本x_i上的实现。
关键词:gradient Boosting boost Grad ADI gradient
沙发
ltx5151 发表于 2012-8-12 16:37:46 |只看作者 |坛友微信交流群
这里面讨论的是在training sample的情况下进行逼近。在此之前,作者讨论的在function space的概念,但是这里要具体讨论如何在有限样本上使用。每个g_m(x_i)都是对应的梯度函数(scaled by step length)在样本x_i上的实现。

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-28 19:08