关于重复数据的筛选

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

今天工作的时候遇到的个较为麻烦的问题。
  解决的目的是从若干的数据里，筛选出重复的数据，并重复的数据删除，讲变量内容不一样的数据保留。
  由于数据量会很多至少上几百条需要进行数据整理，需要提炼出内容不一样的数据进行保留。
  请教各位高手有无方便快捷的方法对数据进行提取，小弟不才SAS刚上手，所以今天完全是通过手工方式去完成这样的工作。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
以下是我经历的案例：
我首先用
Proc SQL;
  Create table a1 as
  Select * from a
  Group by name
  Having Count(*)>1;
Quit;
进行重复数据的筛选，然后数据让我犯难了。出来的结果居然是这样的：
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
Name City Sex 身份证号
张三 上海 男 888888
张三 北京 女 888888
张三 上海 男 888888
张三 上海 男 888888
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
有无方法可以实现以下结果：
Name City Sex 身份证号
张三 上海 男 888888
张三 北京 女 888888
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
只保留不一样的数据，如数据间是重复的将其刨除。

如大哥们，有应用方案请提示下，最好有程序编辑，谢谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：重复数 proc sql Create Select having 数据 筛选

你这些数据如果是存放在数据库（SQL Server）中的，且重复数据每行的观测值全都是一样的，直接用select distinct ... 语句不就可以了。

data a;
input name $ city $ sex$ ID 18.;
cards;
张三 上海 男 888888
张三 北京 女 888888
张三 上海 男 888888
张三 上海 男 888888
王一  北京  女 666666
王二 上海 男 666666
王一 上海    女    777777
王一 上海    女    777777
王一 上海    女    777778
;
run;
proc sql;
create table ac as
select distinct* from a
order by name;

proc sort data=..... out= ......  nodup;by _all_;run;

4# xktse
楼上的都是高手，一条语句就完成所有事情。同样SQL也很好，很能帮助我提高工作效率。
数据中的处理，有没应用面的书籍可以借鉴呢？