楼主: 墨移
2797 1

[数据挖掘理论与案例] 如何根据增量数据更新预测算法的结果? [推广有奖]

  • 1关注
  • 0粉丝

本科生

18%

还不是VIP/贵宾

-

威望
0
论坛币
2917 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
591 点
帖子
49
精华
0
在线时间
111 小时
注册时间
2012-6-18
最后登录
2021-1-10

楼主
墨移 发表于 2016-2-13 12:18:13 |AI写论文
30论坛币

采用决策树、神经网络、回归等算法时,包括集成学习,一般基于历史样本数据训练模型,如果加入增量数据后(不是时序模型问题)除了将算法在全量数据(历史样本数据+增量数据)上重新运行一遍外,是否有其他的算法或机制对模型结果进行更新?在大数据应用的时候,如果一旦有增量数据就在全量数据上更新算法结果太费资源了。例如在推荐应用中,网易云音乐根据用户每天的行为数据更新推荐结果。

最佳答案

Crsky7 查看完整内容

不用重跑全量数据啊,这些互联网公司用的都是online learning算法,比如stochastic gradient descent这种,每过来一个样本,更新一次参数,drop掉这个样本,甚至不需要储存历史样本数据,但可以达到和跑全量数据差不多的效果。
关键词:数据更新 大数据应用 样本数据 神经网络 样本数 机器学习 算法

沙发
Crsky7 发表于 2016-2-13 12:18:14
不用重跑全量数据啊,这些互联网公司用的都是online learning算法,比如stochastic gradient descent这种,每过来一个样本,更新一次参数,drop掉这个样本,甚至不需要储存历史样本数据,但可以达到和跑全量数据差不多的效果。

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2026-1-2 18:55