关于使用na.omit删除缺失值的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

今天发现个好玩的问题，如下：

1. #创建一个数据框
   
2. ID <- c(1,2,3,4)
   
3. 省份 <- c("北京", "上海", "广州", "深圳")
   
4. 月份 <- c(2,5,8,6)
   
5. shiyan <- data.frame(ID, 省份, 月份)

复制代码

下面开始使用table()函数进行汇总：

1. #按月汇总
   
2. aa <- table(shiyan[,3])

复制代码

1. #设置缺失值
   
2. shiyan[shiyan == 5] <- NA
   
3. #删除含有缺失值的观测
   
4. shiyan1 <- na.omit(shiyan)
   
5. #使用table()汇总月度数据
   
6. table(shiyan1[,3])

复制代码

这时你会发现，明明已经删除了缺失值那行，但是table()还是给出了统计，不过值为0.
问题来了，缺失值已经删除的行不想出现在统计项中，而我还想实现月度数据的汇总，请问如何实现？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏4 回帖

关键词：MIT 缺失值 好玩的 数据框

你说的问题，并没有在我的R里出现呃

jiangbeilu 发表于 2016-5-9 17:05
你说的问题，并没有在我的R里出现呃

难道是因为我用的是RStudio？
再请教个问题，从.csv文件导入的数据集空值的项，在R里面不是缺失值NA，要如何筛选出空值并删除这些含空值的观测呢？

十五弟 发表于 2016-5-9 22:50
难道是因为我用的是RStudio？
再请教个问题，从.csv文件导入的数据集空值的项，在R里面不是缺失值NA，要 ...

read.csv里有个na.strings设置一下就可以了

jiangbeilu 发表于 2016-5-9 23:22
read.csv里有个na.strings设置一下就可以了

你好，谢谢深夜还回答我的疑问，我的处理方法是在.csv文件里筛选出空值填充为NA，再导入R的时候直接就是缺失值NA了，这时用table()也不会出现统计空值的情况。
您说的设置方式我明天再尝试一次，另外我会再看看之前为什么对删除的观测依然进行统计，谢谢指导！

jiangbeilu 发表于 2016-5-9 17:05
你说的问题，并没有在我的R里出现呃

是我的描述有问题，问题没有出现在na.omit()上，而是NA和<NA>的不同上。若为NA，则na.omit()可以删除该行，若为<NA>，则显示时已删除，table()统计时还有这行。具体代码如下：

1. >ID <- c(1,2,3,4)
   
2. > 省份 <- c("河北", "山西", "江西", "福建")
   
3. > 月份 <- c(3,5,"#N/A",1)
   
4. > shiyan <- data.frame(ID, 省份, 月份)
   
5. > shiyan
   
6.   ID 省份 月份
   
7. 1  1 河北    3
   
8. 2  2 山西    5
   
9. 3  3 江西 #N/A
   
10. 4  4 福建    1
    
11. > shiyan[shiyan == "#N/A"] <- NA
    
12. > shiyan
    
13.   ID 省份 月份
    
14. 1  1 河北    3
    
15. 2  2 山西    5
    
16. 3  3 江西 <NA>
    
17. 4  4 福建    1
    
18. > shiyan[shiyan == "江西"] <- NA
    
19. > shiyan
    
20.   ID 省份 月份
    
21. 1  1 河北    3
    
22. 2  2 山西    5
    
23. 3  3 <NA> <NA>
    
24. 4  4 福建    1
    
25. > aa<- na.omit(shiyan)
    
26. > table(aa[,2])
    
27. 
    
28. 福建 河北 江西 山西
    
29.    1    1    0    1
    
30. > aa
    
31.   ID 省份 月份
    
32. 1  1 河北    3
    
33. 2  2 山西    5
    
34. 4  4 福建    1

复制代码

请问NA和<NA>的区别是什么？

十五弟 发表于 2016-5-10 22:39
是我的描述有问题，问题没有出现在na.omit()上，而是NA和的不同上。若为NA，则na.omit()可以删除该行，若 ...

您好，有<NA>,用na.omit删除后，再用table是不会显示<NA>项的。

十五弟 发表于 2016-5-10 22:39
是我的描述有问题，问题没有出现在na.omit()上，而是NA和的不同上。若为NA，则na.omit()可以删除该行，若 ...

问题出在如下语句：

1. 月份 <- c(3,5,"#N/A",1)

复制代码

这样赋值会使这个向量自动转换成字符串向量，再把它赋值给data.frame时，R又自作主张地把字符串向量转化为因子。也就是说：

1. > shiyan[,3]
   
2. [1] 3    5    #N/A 1   
   
3. Levels: #N/A 1 3 5

复制代码

第三列变成factor向量了，共有#N/A 1 3 5四个因子水平。然后

1. > shiyan[shiyan == "#N/A"] <- NA

复制代码

这样只是使第三列相应位置的值赋值为NA，但这并不影响因子的levels（因子的Levels可以看成是因子向量的模板，改变因子向量值一般不会改变相应的Level）。因此后面调用table的时候，table还是会遍历每一个level水平给出计数，也就是#N/A会出现在统计中的原因。

所以R里面的自动cast机制很容易导致bug，这也是动态语言的通病。

马甲1号 发表于 2016-5-12 16:50
问题出在如下语句：

这样赋值会使这个向量自动转换成字符串向量，再把它赋值给data.frame时，R又自作 ...

谢谢您的回答，请问自动cast机制是指什么？我不太明白

十五弟 发表于 2016-5-12 21:52
谢谢您的回答，请问自动cast机制是指什么？我不太明白

这方面可以看看advance R相关介绍（http://adv-r.had.co.nz/Data-structures.html#vectors），Hadley Wickham是R语言大神。

根据advance R的说法，由于一个vector中的元素必须类型相同，因此构建vector的时候，R会自动按照“灵活性”排序把一个vector中的变量转换为满足最低灵活性的类型（灵活性排序：逻辑<整型<浮点<字符串）

比如c(1,TRUE)自动转换为c(1,1),
c(1,TRUE,2.0)转换成c(1.0,1.0,2.0),  
c(1,TRUE,2.0,"na")则转换成 c("1","TRUE","2.0","na")