SAS分割超大数据集

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

请问：我有一个12G的大数据，想按照id（从1 to 206）分成206个小文件，用循环可以做到。但是发现每次都要把这个大文件全部先读入，再根据where语句筛选出想要的id的观测值，很耗时间。各位，有更快些的方法吗？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享1 收藏0 回帖

关键词：大数据 数据集 Where HERE 筛选出 分割

给id加个索引试试~

ziyenano 发表于 2013-1-10 09:29
给id加个索引试试~

请问能具体详细点儿吗？谢谢啦！

jianke22 发表于 2013-1-10 09:30
请问能具体详细点儿吗？谢谢啦！

加索引就是用空间换时间~
用sql加个索引
proc sql;
create index id on table_name(id);
没猜错的话，是想把大数据集分割开来去匹配

ziyenano 发表于 2013-1-10 09:36
加索引就是用空间换时间~
用sql加个索引
proc sql;

data a1 a2 ……a206;
set b;
if id=1 then output a1;
if id=2 then output a2;
.
.
.
run;
类似这种方法是不是也可以？速度会快些吗？

嗯 这样是快很多的
做了个测试
data ex;
do id=1 to 1000000;
output;
end;
run;

data temp;
do i=1 to 100;
temp=cats('test',i);
output;
end;
run;
proc sql noprint;
select temp into:data separated by ' ' from temp;
quit;
%macro test;
data &data;
set ex;
%do i=1 %to 100;
if 10000*%eval(&i-1)<id<=10000*&i
then output test&i;
%end;
run;
%mend;


%test


%macro test1;
%do i=1 %to 100;
data test&i;
set ex;
where 10000*%eval(&i-1)<id<10000*&i;
%end;
run;
%mend;
%test1
明显感觉上面那种方法更快

jianke22 发表于 2013-1-10 09:50
data a1 a2 ……a206;
set b;
if id=1 then output a1;

这样会快很多
我觉得不需要用SQL里的索引
SAS的data步真得挺快
SQL步可以用在必须要用SQL语句的时候，如分组统计

playmore 发表于 2013-1-10 12:44
这样会快很多
我觉得不需要用SQL里的索引
SAS的data步真得挺快

加了索引，data步也能更快

ziyenano 发表于 2013-1-10 14:08
加了索引，data步也能更快

是吗？具体怎么操作？
先在sql步里建索引，然后在data步里进行其他的操作？

playmore 发表于 2013-1-10 14:11
是吗？具体怎么操作？
先在sql步里建索引，然后在data步里进行其他的操作？

sql加的索引和data步加的索引是一样的，
不习惯用sql加索引，你可以用data步加索引，
加完索引，不管是data步还是sql查找匹配的速度
总是更快的