面板数据组内离群值怎么处理？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

想请教一下，要处理panel data里面group的离群值，有没有什么标准？比方说不看group看变数所有年度的资料就还好，但一看group各年度资料就有很大的离群值。

1. library(dplyr)
   
2. library(moments)
   
3. library(pastecs)
   
4. 
   
5. data <- data.frame(year = rep(2001:2008, 6),
   
6.             id = rep (1:6, each = 8),
   
7.             value = c(5, 100, 3, 10, 15, 6, 9, 11,
   
8.                            30, 35, 20, 32, 40, 42, 43, 43,
   
9.                            10, 15, 9, 26, 27, 26, 26, 26,
   
10.                            45, 60, 57, 120, 63, 65, 64, 63,
    
11.                            80, 100, 5, 90, 98, 87, 85, 82,
    
12.                            11, 19, 14, 14, 13, 14, 14, 14))
    
13. 
    
14. outlier <- data %>%
    
15.         group_by(id) %>%
    
16.             summarise(mean = mean(value),
    
17.             median = median(value),
    
18.             skew = skewness(value),
    
19.             kurt = kurtosis(value))

复制代码

在group量很大的时候想到一个方法是用skewness大小于＋-1，kurtosis大于3的id挑出来进行处理，但由于这是检测常态分布，会有点问题，例如id 6组内没有离群，但skewness = 1.1523064、kurtosis = 4.352835，请问有没有更好的方法？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

1. 目前用zoo和tsoutlier两个packages找到的最好的解法：
   
2. 
   
3. library(tsoutliers)
   
4. library(zoo)
   
5. 
   
6. z <- read.zoo(data, split = "id", index = "year", FUN = identity)
   
7. 
   
8. out.all <- list()
   
9. 
   
10. for (i in 1:ncol(z)) {
    
11.   
    
12.   y <- z[,i]
    
13.   fit <- arima(y, order = c(1, 1, 0), seasonal = list(order = c(2, 0, 2)))
    
14.   resid <- residuals(fit)
    
15.   pars <- coefs2poly(fit)
    
16.   outliers <- locate.outliers(resid, pars)
    
17.   
    
18.   if (nrow(outliers) == 0) {
    
19.   } else {
    
20.    
    
21.     outliers <- data.frame(id = i, outliers)
    
22.     out.all <- bind_rows(out.all, outliers)
    
23.    
    
24.   }
    
25. }
    
26. 
    
27. out.all <- filter(out.all, type == 'AO')
    
28. 
    
29. data$fix <- data$value
    
30. 
    
31. for (i in 1:nrow(out.all)) {
    
32.   
    
33.   data$fix[data$id == out.all[i,1] & data$year == unique(data$year)[out.all[i,3]]] <-
    
34.     mean(data$fix[data$id == out.all[i,1]])
    
35.   
    
36. }

复制代码