如何截取重复数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

        有一组数据，字段分别为number date amount等等，对应的是贷款编号，时间和金额等数据，但是质量不好，数据有重复，想找出其中重复的数据，该如何编写程序呢，用proc sql和count来写，总是报错，求大神指教。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：重复数 proc sql amount Number Count 如何

1. proc sql;
   
2. create table want as select * from datasets group by number,date,amount having count(*)>=2;
   
3. quit;

复制代码

mingfeng07 发表于 2015-7-10 21:46

谢谢大牛 现在已发现确实有重复 可以通过loan_no这个字段排重
例如同一个申请号下如果loan_no相同则保留一个，不同则都保留，比如名下有3笔贷款，但是有六条记录，loan_no分别为1 2 3 3 2 1

mingfeng07 发表于 2015-7-10 21:46

程序能不能这么些
proc sort data=tmp;
by appl_no loan_no；
run;
proc sort data=tmp out=tmp1 nodupkey;
by appl_no loan_no；
run;
可以这样去重吗 感觉怪怪的

xt_jane 发表于 2015-7-11 17:41
程序能不能这么些
proc sort data=tmp;
by appl_no loan_no；

1. proc sort data=tmp out=tmp1 nodupkey;
   
2. by appl_no loan_no；
   
3. run;

复制代码

这一句就可以了，可以加 dupout=xx 来看到底是哪些重复了

苹果叶 发表于 2015-7-11 19:50
这一句就可以了，可以加 dupout=xx 来看到底是哪些重复了

那如果需要把去重后的数据中的列变量loan_amount即贷款金额字段按照app_no来加总，但是新的表里一个appl_no就只有一条记录，即将一个客户的多条贷款记录加总后只保留一条新的记录，该怎么写呢

xt_jane 发表于 2015-7-11 20:55
那如果需要把去重后的数据中的列变量loan_amount即贷款金额字段按照app_no来加总，但是新的表里一个appl_ ...

1. proc sql noprint;
   
2.   create table test as
   
3.     select appl_no, sum(money) as tot_money from tmp1 group by appl_no;
   
4. quit;

复制代码