【信用评分之数据批量导入】——基于文件夹路径、文件类型

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

%macro importdata(dirname,typ);        /*参数有三个个：路径，文件类型后缀*/
/*模块1--------------------------------【获取文件名】--------------------*/
    %put %str(----------->dirname=&dirname)        ;
    %put %str(----------->typ=&typ)                ;
data temp_filename                             ;     
            rc=filename("dir","&dirname")             ;/*把&dirname值传给文件引用符“dir"*/   
            openfile=dopen("dir")                     ;/*得到路径标示符openfile，dopen是打开directory的sas内置函数*/
            if openfile>0 then do                     ;/*如果openfile>0表示正确打开路径*/        
                      nummem=dnum(openfile)                   ;/*得到路径标示符openfile中member的个数nummem，即指定目录下文件个数*/        
                      do ii=1 to nummem                       ;           
                         name=dread(openfile,ii)              ;/*用dread依次读取每个文件的名字到name*/           
                         output                               ;/*依次输出*/        
                      end                                     ;     
            end                                       ;     
/* keep name                                 ;*/
                /*只保留name列*/

run ;

         proc sort data = temp_filename             ;/*按照name排序*/     
             by descending name                       ;
             %if &typ^=all %then %do                  ;/*是否过滤特定的文件类型&typ*/     
               where  index(upcase(name),upcase(".&typ"));/*y,则通过检索name是否包含&typ的方式过滤文件类型*/
             %end                                           ;
         run                                            ;

/*-模块2-------------------------【将文件名存为宏变量】----------------*/
         %local N;
        proc sql noprint;
                select count(*) as cnt into:N
                        from temp_filename ;
        quit;
/*        获取观测行数，也即导入的数据文件个数*/

        data _null_;
                        set  temp_filename  ;
                        call symputx('y'||left(_n_),name);
        run;
/*        将文件名逐个存为临时宏变量*/
                        %do i = 1 %to &N;
                                %local filenamelist;
                                %let filenamelist = &filenamelist. &&y&i ;/*对临时宏变量，对各文件名进行连接，各文件名以空格隔开*/
                        %end;
                        %put &filenamelist;

/*-模块3-------------------------【开始批量导入】----------------*/

        %do j = 1 %to &N ;
                        %let var&j = %sysfunc(trim(%scan(&filenamelist,&j,' ')));
                        %put &&var&j;
/*        数据导入-PS:这里以导入txt为例，tab分割，如导入excel需要修改为xls，附加dbms=xls*/
                PROC IMPORT OUT= temp&j
                         DATAFILE= "&dirname.&&var&j"
                            DBMS=TAB REPLACE;
                     GETNAMES=YES;
                     DATAROW=2;
                RUN;
  %end;
/*如果是同类型的表，则进行数据合并，根据需要而定*/
                data merge_temp;
                        set
                          %do j = 1 %to &N;
                                  temp&j       
                          %end;
                        ;
                run;
%mend;

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：信用评分 批量导入 文件夹 directory filename 文件夹

发帖时可以用代码形式发布。

1. %macro importdata(dirname,typ);        /*参数有三个个：路径，文件类型后缀*/
   
2. /*模块1--------------------------------【获取文件名】--------------------*/
   
3.     %put %str(----------->dirname=&dirname)        ;
   
4.     %put %str(----------->typ=&typ)                ;
   
5. data temp_filename                             ;     
   
6.             rc=filename("dir","&dirname")             ;/*把&dirname值传给文件引用符“dir"*/   
   
7.             openfile=dopen("dir")                     ;/*得到路径标示符openfile，dopen是打开directory的sas内置函数*/
   
8.             if openfile>0 then do                     ;/*如果openfile>0表示正确打开路径*/        
   
9.                       nummem=dnum(openfile)                   ;/*得到路径标示符openfile中member的个数nummem，即指定目录下文件个数*/        
   
10.                       do ii=1 to nummem                       ;           
    
11.                          name=dread(openfile,ii)              ;/*用dread依次读取每个文件的名字到name*/           
    
12.                          output                               ;/*依次输出*/        
    
13.                       end                                     ;     
    
14.             end                                       ;     
    
15. /* keep name                                 ;*/
    
16.                 /*只保留name列*/
    
17. 
    
18. run ;
    
19. 
    
20.          proc sort data = temp_filename             ;/*按照name排序*/     
    
21.              by descending name                       ;
    
22.              %if &typ^=all %then %do                  ;/*是否过滤特定的文件类型&typ*/     
    
23.                where  index(upcase(name),upcase(".&typ"));/*y,则通过检索name是否包含&typ的方式过滤文件类型*/
    
24.              %end                                           ;
    
25.          run                                            ;
    
26. 
    
27. /*-模块2-------------------------【将文件名存为宏变量】----------------*/
    
28.          %local N;
    
29.         proc sql noprint;
    
30.                 select count(*) as cnt into:N
    
31.                         from temp_filename ;
    
32.         quit;
    
33. /*        获取观测行数，也即导入的数据文件个数*/
    
34. 
    
35.         data _null_;
    
36.                         set  temp_filename  ;
    
37.                         call symputx('y'||left(_n_),name);
    
38.         run;
    
39. /*        将文件名逐个存为临时宏变量*/
    
40.                         %do i = 1 %to &N;
    
41.                                 %local filenamelist;
    
42.                                 %let filenamelist = &filenamelist. &&y&i ;/*对临时宏变量，对各文件名进行连接，各文件名以空格隔开*/
    
43.                         %end;
    
44.                         %put &filenamelist;
    
45. 
    
46. /*-模块3-------------------------【开始批量导入】----------------*/
    
47. 
    
48.         %do j = 1 %to &N ;
    
49.                         %let var&j = %sysfunc(trim(%scan(&filenamelist,&j,' ')));
    
50.                         %put &&var&j;
    
51. /*        数据导入-PS:这里以导入txt为例，tab分割，如导入excel需要修改为xls，附加dbms=xls*/
    
52.                 PROC IMPORT OUT= temp&j
    
53.                          DATAFILE= "&dirname.&&var&j"
    
54.                             DBMS=TAB REPLACE;
    
55.                      GETNAMES=YES;
    
56.                      DATAROW=2;
    
57.                 RUN;
    
58.   %end;
    
59. /*如果是同类型的表，则进行数据合并，根据需要而定*/
    
60.                 data merge_temp;
    
61.                         set
    
62.                           %do j = 1 %to &N;
    
63.                                   temp&j        
    
64.                           %end;
    
65.                         ;
    
66.                 run;
    
67. %mend;

复制代码

Have you tested it by yourself?