如何从大数据判断变量是否相同

1. data have;
   
2.   a=1;s=1;d=1;
   
3. run;
   
4. 
   
5. proc sql noprint;
   
6.   select name into: name separated by ' '
   
7.   from dictionary.columns
   
8.   where memname='HAVE'
   
9.   ;
   
10. quit;
    
11. 
    
12. %let prx = %sysfunc (prxparse(s/(\w+)/new_\1/));
    
13. %let new = %sysfunc (prxchange(&prx.,-1., %bquote(&name.)));
    
14. 
    
15. %let prx = %sysfunc (prxparse(s/(\w+)/\1 = new_\1/));
    
16. %let rename = %sysfunc (prxchange(&prx.,-1., %bquote(&name.)));
    
17. 
    
18. %put &name;
    
19. %put array new $ &new;
    
20. %put rename = (&rename.);

复制代码

不明白楼主的意思。是不是只要X2-X10中间有一个和X1不同，就让X1=1？

1. data want_x;
   
2.   set have;
   
3. 
   
4.   array flag f_a f_s f_d;
   
5.   array orig $ a s d;
   
6.   array comp $ a1 s1 d1;
   
7. 
   
8.   do i = _n_ + 1 to 4;
   
9.     set one(rename = (a=a1 s=s1 d=d1)) point = i;
   
10.         compare = catx('-',_n_,i);
    
11.         do over flag;
    
12.       flag = ~compare(orig,comp);
    
13.         end;
    
14.         output;
    
15.   end;
    
16. 
    
17.   drop a1 s1 d1 a s d i id;
    
18. run;

复制代码

Try This!!

teqel 发表于 2015-11-27 00:30
不明白楼主的意思。是不是只要X2-X10中间有一个和X1不同，就让X1=1？

单纯看x1，不同记录之间比较
x1-x10之间没关系，相当于repeat10次

Tigflanker 发表于 2015-11-27 08:48
Try This!!

谢谢指导！我再试试

edragon1983 发表于 2015-11-27 11:04
单纯看x1，不同记录之间比较
x1-x10之间没关系，相当于repeat10次

100万条记录两两比较，全部记下来，那不是要10^16?

试下proc compare，不确定能否加快计算速度

1. data test;
   
2. input id (x1-x4)($);
   
3. cards;
   
4. 1 a b c d
   
5. 2 c b a d
   
6. 3 c b a d
   
7. 4 e c b a
   
8. ;
   
9. run;
   
10. 
    
11. %macro comp;
    
12. %if %sysfunc(exits(result)) ne 0 %then %do;
    
13.         proc datasets lib=work nolist;
    
14.         delete result;
    
15.         quit;
    
16. %end;
    
17. data result;
    
18. length x1-x4 $8 note $8;
    
19. stop;
    
20. run;
    
21. %do i=1 %to 4;
    
22.         %do j=%eval(&i.+1) %to 4;
    
23.                 proc compare base=test(firstobs=&i. obs=&i.) compare=test(firstobs=&j. obs=&j.) noprint out=temp;
    
24.                 var x1-x4;
    
25.                 with x1-x4;
    
26.                 run;
    
27.                 data temp;
    
28.                 set temp(keep=x1-x4);
    
29.                 note="&i.--&j.";
    
30.                 run;
    
31.                 proc append base=result data=temp force;run;
    
32.         %end;
    
33. %end;
    
34. %mend;
    
35. %comp

复制代码

teqel 发表于 2015-11-27 11:16
100万条记录两两比较，全部记下来，那不是要10^16?

是的，10^14/2

木叶知秋 发表于 2015-11-27 14:50
试下proc compare，不确定能否加快计算速度

程序跑不了啊