怎样找出outlier ??

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

project 是用sas regression分析著名的 boston housing data, 找到最好的model

请问各位大牛我能感觉有很多outlier但是怎么找到呢????

附件里是数据,谢谢

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：outlier outl Lie Out TLI housing 最好

假如一些变量大致服从正态分布，可将3*sigma之外的数据剔除

实在是看不清 无法选择了,没办法做啊

http://www.nathalievilla.org/IMG/pdf/Devoir-Vialaneix-3.pdf

tj0412ymy 发表于 2011-11-30 13:23
或者干脆一刀切，将低于5%的分位数和高于95%的分位数的值全部删除掉

那这样不会不精确吗? 而且我都不知道怎样切?
目前我就做过切一个outlier的题...现在这么多看都看不清楚..
好像老师说切过多也不对,所以我真的不知道怎么办了..

joelluo 发表于 2011-11-30 13:19
实在是看不清 无法选择了,没办法做啊

我也是看不清,但是想想如果剔出outlier 可能就行了..

anyme 发表于 2011-11-30 13:28
那这样不会不精确吗? 而且我都不知道怎样切?
目前我就做过切一个outlier的题...现在这么多看都看不清楚. ...

比如X6代表的是人均拥有的room，从直观感觉应该是最接近正态分布的，故可以对其只保留3*sigma以内的值。

anyme 发表于 2011-11-30 13:28
那这样不会不精确吗? 而且我都不知道怎样切?
目前我就做过切一个outlier的题...现在这么多看都看不清楚. ...

要想准确地排除outlier，首先需要对每个变量有较为准确的把握，大致了解该变量的现实意义以及分布情况。比如X1变量代表的是人均犯罪率，这在统计中算是稀有事件，大致应该会服从poisson分布，而观察其直方图，正好验证了我们的猜想。

个人认为，需要参照变量专业知识考虑！

tj0412ymy 发表于 2011-11-30 14:16
要想准确地排除outlier，首先需要对每个变量有较为准确的把握，大致了解该变量的现实意义以及分布情况。 ...

Thank you so much