如何提高效率拼接数据?

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我有两个表，需要并接。
第一个表内变量n1，n2,n3,n4,n5,n6 第二个表内变量n。（变量数据类型一致）
现在需要并接两个表，第一个表为准，第一个表内n1~n6，只要有一个等于第二个表内n，就并接。
现在我用sql 左连接，可是数据量大，效率很低，这一步需要运行10分钟。
希望有高手提供高效的并接方法。

谢谢

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：如何提高 高效率 数据类型 sql 拼接 如何

表2 hash

assuming n is unique in the 2nd table

1. data a;
   
2.         do id=1 to 10000;
   
3.                 array n[6];
   
4.                 do _n_=1 to dim(n);
   
5.                         n[_n_] = ceil(20000*ranuni(12345));
   
6.                 end;
   
7.                 output;
   
8.         end;
   
9.         stop;
   
10. data b;
    
11.         do _n_=1 to 10000;
    
12.                 n = ceil(20000*ranuni(54321));
    
13.                 output;
    
14.         end;
    
15.         stop;
    
16. proc sort data=b nodupkey;
    
17.         by n;
    
18. 
    
19. proc sql;
    
20. create table c as
    
21.         select a.*, b.n
    
22.                 from a left join b
    
23.                         on (b.n-a.n1)*(b.n-a.n2)*(b.n-a.n3)*(b.n-a.n4)*(b.n-a.n5)*(b.n-a.n6)=0;
    
24. quit;
    
25. 
    
26. data d;
    
27.         set a;
    
28.         if _n_=1 then do;
    
29.                 if 0 then set b;
    
30.                 declare hash _ht(dataset:'b', hashexp:16);
    
31.                 _ht.definekey('n');
    
32.                 _ht.definedata('n');
    
33.                 _ht.definedone();
    
34.         end;
    
35.         array _x[*] n1-n6;
    
36.         array _y[6] _n1-_n6;
    
37.         found = 0;
    
38.         do i=1 to dim(_x);
    
39.                 if _ht.find(key: _x[i])=0 then do;
    
40.                         found=found+1;
    
41.                         _y[found] = n;
    
42.                 end;
    
43.         end;
    
44.         if found=0 then do;
    
45.                 call missing(n);
    
46.                 output;
    
47.         end;
    
48.         else do;
    
49.                 n = _y[1];
    
50.                 output;
    
51.                 do i=2 to found;
    
52.                         if index(peekclong(addrlong(_y[1]), 8*(i-1)), put(_y[i], rb8.)) = 0 then do;
    
53.                                 n = _y[i];
    
54.                                 output;
    
55.                         end;
    
56.                 end;
    
57.         end;
    
58.         drop i found _n1-_n6;
    
59. run;
    
60. 
    
61. proc sort data=c;
    
62.         by id n;
    
63. proc sort data=d;
    
64.         by id n;
    
65. proc compare base=c(keep=id n) compare=d(keep=id n);
    
66. run;

复制代码

The hash object in the big data step can be replaced with a format.
Alternatively, not quite as efficient but acceptable

1. proc sql;
   
2. create table e as
   
3.         select a.*, b1.n as _n1, b2.n as _n2, b3.n as _n3, b4.n as _n4, b5.n as _n5, b6.n as _n6
   
4.                 from a left join b as b1 on a.n1=b1.n
   
5.                         left join b as b2 on a.n2=b2.n
   
6.                         left join b as b3 on a.n3=b3.n
   
7.                         left join b as b4 on a.n4=b4.n
   
8.                         left join b as b5 on a.n5=b5.n
   
9.                         left join b as b6 on a.n6=b6.n
   
10.                         ;
    
11. quit;
    
12. data e;
    
13.         set e;
    
14.         array _y[*] _n1-_n6;
    
15.         if n(of _y[*])=0 then output;
    
16.         else do _n_=1 to dim(_y);
    
17.                 if _y[_n_] ne . then do;
    
18.                         n = _y[_n_];
    
19.                         output;
    
20.                 end;
    
21.         end;
    
22.         drop _n1-_n6;
    
23. proc sort data=e nodupkey;
    
24.         by id n;
    
25. proc compare base=c compare=e;
    
26. run;

复制代码

Tweak the code above if n is not unique

hash对表的观测数量有限制的吧，不能太多。
我想知道有没有data数据步可以实现同样功能性
数据步效率高

有没有这种情况, 表二第一个观测的n和表一第一个观测的n1相等, 也和第二个观测的n5相等. 这样的话, 表二中一条观测就要和表一中一条观测匹配两次. 或者, 表一中第一个观测的两个变量n1 n2分别和表二的第一个观测, 第三个观测相等, 这样就要表一同一条观测和表二的两条观测匹配两次?

没有。n1不会等于N2~N5

我是用
proc sql;
create table t as
select
a.*,b.*
on a.n1=b.n or a.n2=b.n or a.n3=b.n or a.n4=b.n or a.n5=b.n;
quit;
结果提示我无法优化的catersian产品链接。
这段代码运行了10分钟。真受不了