求问提高SAS读取数据效率的方式

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

背景介绍：
        数据库：ORACLE
        网络方式：VPN
        需求：读取多张含json的数据的表，当前数据库内包含大量数据，只需要处理近一周的数据即可。
        核心问题：数据读取太慢！
        小障碍：1.因数据库内无索引，部分表无可用时间字段进行筛选。
                      2.VPN网络不稳定导致不能测试代码读数效率。
求教可以有效提高SAS读取数据的效率的方式。

个人已尝试多种方式，但是效率颠覆之前的一些认知，并未有效提高效率，方式如下：

方式1：*col2为案件的通用编号

1. connect to oracle as data (user=XXX password=XXXXXX path=XXXX);
   
2. create table TEMP as
   
3.         select * from connection to data(
   
4.                 select * from(
   
5.                         select a.col1,
   
6.                                 c.col2,
   
7.                                 row_number()over(partition by c.col2 order by c.col2,c.time desc) as rm
   
8.                         from AA.TAB1 a
   
9.                         inner join AA.TAB2 b on a.KEY1=b.KEY1
   
10.                         inner join AA.TAB3 c on c.KEY2=b.KEY2
    
11.                         where b.id is not null
    
12.                                 and to_char(c.time,'yyyy-mm-dd')>=to_char(sysdate-1,'yyyy-mm-dd')
    
13.                 )where rm=1
    
14.         );
    
15. disconnect from data;
    
16. quit;

复制代码

方式2：

1. libname AA oracle user=XXX password=XXXXXX path='XXXX' schema=AA;
   
2. create table TEMP as
   
3.         select a.col1,
   
4.                 c.col2,
   
5.                 c.time
   
6.         from AA.TAB1 a
   
7.         inner join AA.TAB2 b on a.KEY1=b.KEY1
   
8.         inner join AA.TAB3 c on c.KEY2=b.KEY2
   
9.         where b.id is not null
   
10.                 and to_char(c.time,'yyyy-mm-dd')>=to_char(sysdate-1,'yyyy-mm-dd');
    
11. quit;
    
12. proc sort data=TEMP;by KEY2 descending time;run
    
13. data TEMP ;
    
14.         set TEMP;
    
15.         by KEY2;
    
16.         if first.KEY2;
    
17. run;

复制代码

方式3：

1. libname AA oracle user=XXX password=XXXXXX path='XXXX' schema=AA;
   
2. data TAB1;
   
3.         set AA.TAB1(keep=KEY1 col1);
   
4. run;
   
5. data TAB2;
   
6.         set AA.TAB2(
   
7.                 keep=KEY1 KEY2
   
8.                 where=(id^='')
   
9.         );
   
10. run;
    
11. data TAB3;
    
12.         set AA.TAB3(
    
13.                 keep=KEY2 col2 time
    
14.                 where=(to_char(time,'yyyy-mm-dd')>=to_char(sysdate-1,'yyyy-mm-dd'))
    
15.         );
    
16. run;
    
17. proc sort data=TAB3;by KEY2 descending time;run
    
18. data TAB3 ;
    
19.         set TAB3;
    
20.         by KEY2;
    
21.         if first.KEY2;
    
22. run;
    
23. proc sql;
    
24. create table TEMP as
    
25.         select a.col1,
    
26.                 c.col2
    
27.         from TAB1 a
    
28.         inner join TAB2 b on a.KEY1=b.KEY1
    
29.         inner join TAB3 c on c.KEY2=b.KEY2;
    
30. quit;

复制代码

其中data步这块，尝试了几种方式提高效率，但是从时间上看where= firstobs= _n_这些都没有起到提高效率的作用，如：

1. data TAB2;
   
2.         set AA.TAB2(
   
3.                 keep=KEY1 KEY2
   
4.                 firstobs=10000000        *保证前10000000条数据不涉及当前需求
   
5.         );
   
6.         where id^=''
   
7. run;
   
8. 
   
9. data TAB2;
   
10.         set AA.TAB2(keep=KEY1 KEY2);
    
11.         _n_>=10000000        *保证前10000000条数据不涉及当前需求
    
12.         where id^=''
    
13. run;

复制代码

求解惑，谢谢！！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：读取数据 inner join Disconnect connection partition

This is a complicated case which migh be not caused by SAS. I assumed the networking is slow so we can try to increase buffersize as  'libname option readbuff=10000'. default size for Oracel is 250. Good luck.