楼主: litonchen
355 3

[实际应用] 巨量数据如何SAS处理 [推广有奖]

  • 0关注
  • 0粉丝

大专生

21%

还不是VIP/贵宾

-

威望
0
论坛币
596 个
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
453 点
帖子
30
精华
0
在线时间
47 小时
注册时间
2004-12-20
最后登录
2018-1-18

litonchen 发表于 2018-1-2 10:57:15 |显示全部楼层
之前处理过千万条数据,SAS在处理一些基本运算如加总、笔数时已经不太行了,等上好几个小时是常见的事,伺服器版本的EG在静止状态过久时会断线,SAS在处理巨量上简直是悲剧。目前我遇到你上亿等级的数据,有啥好方法可以提速吗?还是放弃SAS改用其他软件?


关键词:巨量 大数据

支持楼主:购买VIP购买贵宾 购买后,论坛将把您花费的资金全部奖励给楼主,以表示您对TA发好贴的支持
 
载入中......
stata SPSS
l1i2n3i4n5g 在职认证  发表于 2018-1-2 14:04:54 |显示全部楼层
https://mp.weixin.qq.com/s/UcnZ2Utob6sO-I9YYfqo2g
已有 1 人评分学术水平 热心指数 信用等级 收起 理由
litonchen + 1 + 1 + 1 精彩帖子

总评分: 学术水平 + 1  热心指数 + 1  信用等级 + 1   查看全部评分

回复

使用道具 举报

liuchengxin 学生认证  发表于 2018-1-2 16:57:55 |显示全部楼层
l1i2n3i4n5g 发表于 2018-1-2 14:04
https://mp.weixin.qq.com/s/UcnZ2Utob6sO-I9YYfqo2g
非常好的分享,学习了。膜拜大侠。
回复

使用道具 举报

yuchengdong521 学生认证  发表于 2018-1-13 21:59:48 |显示全部楼层
可以并行处理。主要用data步把数据拆分成几个相对较小的;然后基于每个拆分的数据集进行分别处理,生成各自的代码,保存为SAS代码文件;然后再生成SAS代码的批处理文件,便于直接调用运行;利用systask command语句调用上面的N个处理文件执行代码;然后用waitfor语句等待批处理完成,最后将各批处理结果合并即可。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2018-1-20 22:59