楼主: 爱萌
61344 194

大家来讨论一下,SAS怎样才能读入就处理,这样能够处理无限大的数据   [推广有奖]

131
木须0329 发表于 2011-1-17 21:51:03
刚入门,不太懂,帮顶了!

132
nosewjc 发表于 2011-2-19 22:14:27
不要把数据都读到内存里就好了,需要的时候读入,不需要的时候就释放掉空间。当然如果数据需要计算多次,那就需要改改算法,尽量只读一次来算

133
menmader 发表于 2011-3-19 13:11:15
我也很关注这种性能问题!

134
275769263 发表于 2011-4-5 16:14:28
我还没处理过海量的数据..很多书上不是说hash只是把数据的地址映射到内存,再通过地址来访问数据...不知道这样是不是会快点..?求解...

135
hktk985211 发表于 2011-4-13 11:55:54
好问题!!!

136
天涯情结 发表于 2011-5-6 10:30:14
怎么我觉得很简单呀,读入数据太简单不过了,直接写入代码不就可以了,
libname aa 'e:\sasdata';
data aa.data;
file 'E:\sasdata\data.txt';
input name$ age gender$;
file print;
put name $ age gender$;
run;
是不是要这样的手动输入呢?
我觉得你们那些问题都可以用代码实现。
libname aa "e:\sasdata"
data aa.class
input name $ age gender$;
cards;
张涛 4 男
   。
   。
run;
proc print;
run;
如果从文件中读取,那也不用多说了,你们应该知道,我就不班门弄斧了!
子若不离不弃,吾必生死相依。

137
天涯情结 发表于 2011-5-6 10:38:14
128# sophiafinn 大数据我知道怎么导入,找我就行了,你那是什么文件格式的?
子若不离不弃,吾必生死相依。

138
franklin_fuf 发表于 2011-5-6 19:35:23
赫赫, 偶的处理级别没这么HUGE,因此除有时报错外,SAS基本可以处理. 但要本质解决这个问题, 恐怕是IT或者算法的问题了.  
本质上处理起来必须用内存缓冲技术,即要用到时分块地进入内存, 不用时存入临时文件. 那么接下来的问题就是如何处理分块矩阵拉,本质上任何算法都是矩阵运算,因此所有算法都要相应地为分块矩阵服务.比如原来简单的矩阵相乘, 如果分块计算,然后复原就困难点拉. 如果是特征值运算,那算法的复杂性就成倍上升.
其次是IT技术,比如多CPU处理, 分机协同处理. 偶不是很懂这些.
但本质仍然是算法. 比如稀疏矩阵就要用特殊算法才可行.
说得再理论点, 关键还是看你要解决的问题, 如果本身是NP问题, 估计再好的算法也无能为力了.

139
huying539 发表于 2011-6-10 17:33:45
并行可以不?
行动着

140
peter-hzw 发表于 2011-6-20 09:09:41
SAS本来就是分块读入的啦。

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2025-12-26 04:38