大家来讨论一下,SAS怎样才能读入就处理,这样能够处理无限大的数据 [推广有奖]

101楼

adi20 发表于 2010-1-24 16:44:24

直接导入不可以吗？？？高人指点

102楼

曹建宇 发表于 2010-1-26 23:11:57

那对电脑硬件的配置要求很高吧！

加关注串个门加好友发消息 0关注 0粉丝禁止访问 smthny 当前离线阅读权限 0 威望 0 级论坛币 31 个通用积分 0 学术水平 0 点热心指数 0 点信用等级 0 点经验 6355 点帖子 1 精华 0 在线时间 1 小时注册时间 2008-5-23 最后登录 2015-5-9 雷达卡	103楼 smthny 发表于 2010-2-13 00:58:34 提示: 作者被禁止或删除内容自动屏蔽

	回复举报

104楼

桂系 发表于 2010-2-21 14:45:44

好高深啊，希望快点入门。

105楼

foxjianfeng 发表于 2010-3-7 12:31:14

good!!!!!!!!!

106楼

乔峰0976 发表于 2010-3-7 19:24:20

水平还达不到，只是顶一下

107楼

lvjinghui 发表于 2010-4-7 17:18:22

没想过
恩
认真想想

108楼

weiyingshu 发表于 2010-4-9 12:46:08

我也正在考虑如何用SAS读取WEB数据，分析起来就更方便，请高人指导！

109楼

soporaeternus 发表于 2010-4-13 10:22:19

首先是一个现实：十万数量级变量和亿数量级记录的数据规模对于一些行业是很正常的，并且随着时间的积累呈迅速增长。T级别的数据处理已经在国内一些以SAS为核心的BI系统或是分析项目中实施，并有很多经验。
1 SAS是一个统计分析工具软件，SAS管理数据只是一个搬运工，效率有限。大规模的数据预处理、存储、管理、调度，我认为交给数据库来做比较好。数据库+SAS的架构现在也很主流。各尽所能，各取其长而已。在此前提下，某些意义上的所谓“读入即处理”可以通过数据库“定时定量”吐数据给SAS来实现。总之减少SAS对于数据的I/O操作，仅用其固化的“分析”功能，是一个不错的实现方式和方法。
2 SAS的商用价值在PROC步而非DATA步，编写DATA步时总会有这样的遗憾和无奈。DATA步的本质是逐条处理，理论上可以处理任何规模的数据，实现任何算法。个人感觉DATA步的弱项在于对非当前记录数据信息的记录与操作，这个在一些算法上很无力。所以说SAS只是一个工具，但它不是唯一的工具。

已有 2 人评分	经验	学术水平	收起理由
peijiamei		+ 2	精彩帖子
爱萌	+ 100		谢谢,谢谢给出了一些价值

总评分: 经验 + 100 学术水平 + 2 查看全部评分

Let them be hard, but never unjust

110楼

爱萌 发表于 2010-5-16 10:37:00

smthny 发表于 2010-2-13 00:58
单个文件行数没超过2^63-1(大概9.2 quintillion)的话，用linux企业版加linux版本的SAS
我现在做的数据15T，单个SAS文件最大的1T
因为数据源是UNIX下处理好的SAS文件，所以没有办法用别的东西
如果哪位朋友知道怎么可以工作得快点，麻烦告诉一下，谢谢

有几个办法，一是并行处理可以节省时间，二是用grid处理都比较快