sas读取外部文件只能读取700多万条记录？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

菜鸟问题，我用proc import读取外部.del文件（db2），只能读入700多万条。总共有900多万条。
是不是sas读取数据条数有限制？
还是我用的读取方法有问题呢？
程序参考如下：

PROC IMPORT OUT= SASUSER.abcd
            DATAFILE= "D:\aaa.del"
            DBMS=DLM REPLACE;
     DELIMITER=',';
     GETNAMES=YES;
         DATAROW=2;
RUN;


拜托了！！！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：delimiter replace sasuser delimit import 记录 700

哇，还没碰到过这个数量级的dataset

AFAIK there is no limitation as long as your system hardware can handle in a data step.   Try no using import for text file. The example below reads and writes 10**8 rows.

12   data _null_;
13      file 'c:\temp\i.txt';
14      do i=1 to 1e8;
15        put i;
16      end;
17   run;

NOTE: The file 'c:\temp\i.txt' is:
      Filename=c:\temp\i.txt,
      RECFM=V,LRECL=256,File Size (bytes)=0,
      Last Modified=18Jan2013:18:17:29,
      Create Time=18Jan2013:18:16:39

NOTE: 100000000 records were written to the file 'c:\temp\i.txt'.
      The minimum record length was 1.
      The maximum record length was 9.
NOTE: DATA statement used (Total process time):
      real time           26.13 seconds
      cpu time            18.70 seconds


18
19   data _null_;
20      infile 'c:\temp\i.txt';
21      input i;
22   run;

NOTE: The infile 'c:\temp\i.txt' is:
      Filename=c:\temp\i.txt,
      RECFM=V,LRECL=256,File Size (bytes)=988888898,
      Last Modified=18Jan2013:18:17:55,
      Create Time=18Jan2013:18:16:39

NOTE: 100000000 records were read from the infile 'c:\temp\i.txt'.
      The minimum record length was 1.
      The maximum record length was 9.
NOTE: DATA statement used (Total process time):
      real time           17.26 seconds
      cpu time            17.08 seconds

谢谢，后来我用了infile，还是只能录入700多万。而且sas不报错。最后BI同事说，是因为原来文件从DB2导出 的，DB2有自己大型文件的格式，导入时候会无法识别。所以后来就找到后面2百万数据里面有点乱码，去除掉，就导入了。楼上兄弟对的，sas没有这个限制。谢谢哈

可不可以先import前4m个，在输入后面的

bobguy 发表于 2013-1-19 07:31
AFAIK there is no limitation as long as your system hardware can handle in a data step.   Try no usi ...

are u a girl?