R语言如何快速去掉数据框中重叠的行

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

比如有个数据集：

data <- data.frame(x = c("A", "B", "C", "D"), y = c("B", "A", "D", "C"), z = c("a", "a", "b", "b"))

	x	y	z
1	A	B	a
2	B	A	a
3	C	D	b
4	D	C	b

我们认为第一行和第二行在z=a时候是重复的（都是A，B），同理认为第三行和第四行在z=b时是重复的（都是C，D），因此，想去掉第二行和第四行，由于数据量很大，不能简单的利用for循环计算，请教论坛里面的大侠是否有便捷方法，在此先谢了！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：R语言 数据框 Data 数据集

dplyr::distinct函数，看看，有用

nieqiang110 发表于 2020-11-17 08:49
dplyr::distinct函数，看看，有用

nieqiang110 发表于 2020-11-17 08:49
dplyr::distinct函数，看看，有用

谢谢大侠的回答，我认认真真的去查看了distinct函数，它还是不能解决我这个问题。看您还有没有更好的办法，谢谢啦！

data <- data.frame(x = c("A", "C", "C", "D"), y = c("B", "A", "D", "C"), z = c("a", "a", "b", "b"))
  x y z
1 A B a
2 C A a
3 C D b
4 D C b
如果是这样，是要留下1，2，3行吗？

x列和y列看上去像两个维度，其实你是想当做一个维度来处理，因此思路应该是降维，然后排序，再去重。

1. data <- data.frame(x = c("A", "B", "C", "D"), y = c("B", "A", "D", "C"), z = c("a", "a", "b", "b"))
   
2. . <- split(data[, c("x", "y")], f = 1:nrow(data))
   
3. names(.) <- data$z
   
4. . <- lapply(., function(x) sort(as.vector(as.matrix(x))))
   
5. tmp1 <- bind_rows(lapply(., function(x) as.data.frame(t(as.matrix(x)))))
   
6. tmp1 <- setNames(tmp1, c("x", "y"))
   
7. tmp1$z <- names(.)
   
8. out <- dplyr::distinct(tmp1)

复制代码

library(data.table)
Dt = data.table(x = c("A", "B", "C", "D"), y = c("B", "A", "D", "C"), z = c("a", "a", "b", "b"))
Ht = Dt[,lapply(.SD,function(x)sort(x)),by = z]
y = (Ht$x == Ht$y)*as.numeric(factor(Ht$z))
id = !duplicated(y)
Dt[id]

cheetahfly 发表于 2020-11-17 22:09
x列和y列看上去像两个维度，其实你是想当做一个维度来处理，因此思路应该是降维，然后排序，再去重。

大神一句话，菜鸟跑半年！ 非常感谢这位大侠的鼎力帮助，谢谢啦！

szxship 发表于 2020-11-17 23:28
library(data.table)
Dt = data.table(x = c("A", "B", "C", "D"), y = c("B", "A", "D", "C"), z = c("a" ...

大神一句话，菜鸟跑半年！ 也感谢这位大侠的鼎力帮助！在此，让我学习到两种非常简便的方法，也认识了两个重要的R包data.table和dplyr。再次感谢！