重复样本对模型的预测有何影响？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大家好：
          有一个问题，想和大家一起讨论一下：重复样本对模型的预测有何影响？重复数据会影响数据的分布，那么对神经网络类的预测以及决策树类的预测分别存在什么样的影响？欢迎大家讨论！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：重复数据 神经网络 影响数据 什么样 决策树

有，影响还是很大的。比如回归中损失函数为 loss=sum[(y_true-y_pred)^2]。重复样本同样会对loss有影响，会使回归向重复样本方向拉。

雾锁山城 发表于 2018-11-27 08:52
有，影响还是很大的。比如回归中损失函数为 loss=sum[(y_true-y_pred)^2]。重复样本同样会对loss有影响，会 ...

果然，通过我最近做的一个模型，原始数据100万（包括重复），去重之后23万，先后建立两个模型（采用GBDT算法建立的），在两个预测模型预测过程中发现，重复数据预测模型预测的结果比较平稳，偏向重复数据的分布；而去重之后的模型预测的结果起伏较大。那到底哪种情况更加反映实际情况呢？

    拟合统计学习模型时，本是要学习一个概率模型P(X,Y) 。但是，P(X,Y)是不知的，我们只有一个由N个观察组成数据样本(xi,yi) (i=1,2,...N)，假设这个数据样本是从P(X,Y)是随机抽取的，同时也假设未来测试样本也是从P(X,Y)中随机抽取的。这是统计学习（或机器学习的基本假设）。。
    既然从一个概率模型P(X,Y)中随机抽取， 这个样本，本身是一个随机数，其中一些观察重复，也是很正常的。这也是bootstrap的工作原理。
     可参考一些 BOOTSTRAP书，来理解重复观察的意义。。
     从信息角度来说，既然一个数据即包含了信息，重复实是没必要了。。重复，仅仅代表，在此观察点，数据分布密度更高些。在学习中，权重也就高些。。

jgchen1966 发表于 2018-11-28 10:55
拟合统计学习模型时，本是要学习一个概率模型P(X,Y) 。但是，P(X,Y)是不知的，我们只有一个由N个观察组 ...

     由上可知，重复来源于“随机抽取”过程，对统计学习过程是没有影响的。但是，人为地对原样本中某此特定的观察点进行重复，就改变了原样本代表的潜在概率模型P(X,Y），也就会影响后续的统计结果。

其实你把重复的量当成样本权重就好了 也就是说 样本并不是均匀分布的

预测偏移

露露的家园2012 发表于 2018-11-28 10:03
果然，通过我最近做的一个模型，原始数据100万（包括重复），去重之后23万，先后建立两个模型（采用GBDT算 ...

对于实际应用，你应该确定什么是确定的重复，比如
商家ID    产品A   产品B  产品C
1             10        8        12
2             10        8        12
1             10        8        12
其中第一条数据和第二条数据虽然他们在产品A、B、C的销量一样，但是他们不是重复数据。
第一条和第三条才是重复数据。
最好能从数据的产生过程判断数据是否是真的重复。

露露的家园2012 发表于 2018-11-28 10:03
果然，通过我最近做的一个模型，原始数据100万（包括重复），去重之后23万，先后建立两个模型（采用GBDT算 ...

对于实际应用，你应该确定什么是确定的重复，比如
商家ID    产品A   产品B  产品C
1             10        8        12
2             10        8        12
1             10        8        12
其中第一条数据和第二条数据虽然他们在产品A、B、C的销量一样，但是他们不是重复数据。
第一条和第三条才是重复数据。
最好能从数据的产生过程判断数据是否是真的重复。

露露的家园2012 发表于 2018-11-28 10:03
果然，通过我最近做的一个模型，原始数据100万（包括重复），去重之后23万，先后建立两个模型（采用GBDT算 ...

对于实际应用，你应该确定什么是确定的重复，比如
商家ID    产品A   产品B  产品C
1             10        8        12
2             10        8        12
1             10        8        12
其中第一条数据和第二条数据虽然他们在产品A、B、C的销量一样，但是他们不是重复数据。
第一条和第三条才是重复数据。
最好能从数据的产生过程判断数据是否是真的重复。