怎么删除重复项

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

现有1.txt文件，格式如下：
aaa 111 222
aaa 222 111
bbb 111 333
aaa 111 222
ccc 222 222
bbb 111 444

希望去除重复项，最后得到：
aaa 111 222
aaa 222 111
bbb 111 333
ccc 222 222
bbb 111 444


数据很大，希望找到一种比较有效率的方式，试过unique，但是并没有达到目的

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：unique NIQ txt 有效率

excel能删除重复值

数据库里面通常是合并为一个变量， 删除last

ipaint 发表于 2018-5-4 19:35
excel能删除重复值

数据很大，没法用excel打开

用duplicated

dplyr::distinct()了解一下

qoiqpwqr 发表于 2018-5-4 20:08
用duplicated

我试过data[!duplicated(data$x), ]，没用啊

cheetahfly 发表于 2018-5-4 20:45
dplyr::distinct()了解一下

谢谢，这个我拿部分数据试过了，行得通，就是不知道效率怎么样

不二不幸福 发表于 2018-5-4 21:17
谢谢，这个我拿部分数据试过了，行得通，就是不知道效率怎么样

不超过1G的数据应该妥妥的没问题，如果超过10个G，就用data.table包：
dt <- as.data.table(myData)
setkey(dt)
unique(dt)

不二不幸福 发表于 2018-5-4 21:09
我试过data[!duplicated(data$x), ]，没用啊

1. > x <- data.frame(v1 = c("aaa","aaa","bbb","aaa","ccc","bbb"), v2 = c(111,222,111,111,222,111), v3 = c(222,111,333,222,222,444))
   
2. > x
   
3.    v1  v2  v3
   
4. 1 aaa 111 222
   
5. 2 aaa 222 111
   
6. 3 bbb 111 333
   
7. 4 aaa 111 222
   
8. 5 ccc 222 222
   
9. 6 bbb 111 444
   
10. > x[!duplicated(x), ]
    
11.    v1  v2  v3
    
12. 1 aaa 111 222
    
13. 2 aaa 222 111
    
14. 3 bbb 111 333
    
15. 5 ccc 222 222
    
16. 6 bbb 111 444

复制代码