大家来讨论一下,SAS怎样才能读入就处理,这样能够处理无限大的数据

读入就处理？你的意思是分析结果来自不完整数据吗？

学习！！！！

61# genuines
有这种意思,因为很多算法需要这种

理论上SAS可以处理无限大的数据，只要你有无限大的硬盘，这和内存关系不大。在处理大数据时，硬盘读写时间往往占去大块，因此在算法上需要多次读写的时候，最好把数据切成小块再进行计算，然后再合并，节约硬盘读写时间。

raymonica 发表于 2009-6-19 21:44
我也比较头疼这个问题。 有时候需要花上几天把数据分成几个块。 把CLOB 字段转成csv， 再传入SAS. 太麻烦了。我正在申请直接把ORACLE 的数据库连上 SAS。 这样就不需要转来转去的。不知道那位高人有这方面的经验可以分享。

我们公司的SAS就是这样做的，SAS直接可以连ORACLE的数据库。可以通过SQL过程把数据同步过去，完成数据的赛选。

期待好的解决方案

爱萌 发表于 2009-7-5 17:17

denver 发表于 2009-7-2 20:34

fincomputing 发表于 2009-6-21 20:01
我觉得，考虑使用Matlab，R等替代软件，SAS处理大数据量可不是强项，呵呵～～

兄弟你正好说反了，MatLAB的强大在于它有很多的工具箱，在每个工具箱中有很多现成的函数，在遇到具体问题的时候，能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。
R的强大在于package的更新速度很快，很多新的统计算法都能在第一时间得到实现，而且语法规范友好，但与其他软件一样，缺点是处理海量数据不太灵便，因为还是要将数据整体读入内存的，一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上，虽然语法恶心点，所以我用SAS只是为了处理数据而已。

补充和修正:

.....
......

SAS,R,matlab都可以处理大量数据,.....
......

斑竹应该是没用过R 处理大数据。 R 的 内存使用上限是3G。 3G 应该不叫大数据。

我是个初学者，想多看看大家怎么操作的

我们项目还用不到动态地接纳数据，不过收藏留着以后可能用。

chitchatla 发表于 2009-7-27 10:06

爱萌 发表于 2009-7-5 17:17

denver 发表于 2009-7-2 20:34

fincomputing 发表于 2009-6-21 20:01
我觉得，考虑使用Matlab，R等替代软件，SAS处理大数据量可不是强项，呵呵～～

兄弟你正好说反了，MatLAB的强大在于它有很多的工具箱，在每个工具箱中有很多现成的函数，在遇到具体问题的时候，能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。
R的强大在于package的更新速度很快，很多新的统计算法都能在第一时间得到实现，而且语法规范友好，但与其他软件一样，缺点是处理海量数据不太灵便，因为还是要将数据整体读入内存的，一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上，虽然语法恶心点，所以我用SAS只是为了处理数据而已。

补充和修正:

.....
......

SAS,R,matlab都可以处理大量数据,.....
......

斑竹应该是没用过R 处理大数据。 R 的 内存使用上限是3G。 3G 应该不叫大数据。

这个大数据应该现在还没有具体分法