[讨论]SAS处理大容量数据还是太慢

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

在普通的PC机上，用SAS处理大容量数据，速度还是太慢。比如处理A股市场的分笔交易数据（1999~2007），大概300多G，有时算几个指标需要几天，太痛苦了。

不知道有没有好的解决方法。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：A股市场 交易数据 解决方法 不知道 有没有 数据 讨论 SAS 容量

等着更加强劲的CPU出来吧，呵呵

300G,差不多有几千万条记录了，如果只有几个字段的话，所以一般的PC机无法处理很正常.

这300多G的分笔交易数据并不仅仅是一个文件，而是进行了分割，某个交易所某个月（甚至是半个月）的全部公司的数据归集为一个文件，即使如此，在2007年，沪市半个月的数据也会超过4G。我在处理数据时，是以这种小文件为处理单元，不停循环处理的。

可能SAS并不适合处理这种数据，有高手说KDB+Q是一个好的解决方案，不过这意味着又得学习一个新语言。

呵呵,关键是SAS需要把所有的数据都读入内存,你们怎么处理不听跳出来的,保存等对话框,谢谢

用oracle ，现在台式机装ORACLE，还是可以的，ORACLE+SAS,大型的计算，我都是加ORACLE里面实现的，

那种感觉和自己写小程序完全不一样

oracle不会呀，公司也没用这的

应该用个数据库+SAS分析。

如果只是用ORACLE管理数据，数据处理仍然用SAS（通过ODBC来使用），速度仍然难以提高。WIND金融工程数据库就是用ORACLE管理的，没觉得快多少。

SAS主要作为统计计量软件使用，兼有数据库管理系统功能，这既是它的优点——方便，但也是它的缺点——数据库管理功能弱于专门软件。

请教了一些高手，目前处理高频数据最快可能是KDB，但问题它做统计或计量远没有SAS方便，除非自己是统计计量&编程高手，能够胜任复杂的计量编程工作。

以下是引用fixedincome在2009-5-4 19:37:00的发言：

这300多G的分笔交易数据并不仅仅是一个文件，而是进行了分割，某个交易所某个月（甚至是半个月）的全部公司的数据归集为一个文件，即使如此，在2007年，沪市半个月的数据也会超过4G。我在处理数据时，是以这种小文件为处理单元，不停循环处理的。

可能SAS并不适合处理这种数据，有高手说KDB+Q是一个好的解决方案，不过这意味着又得学习一个新语言。

没多少。SAS应付应该问题不大。

 

你说的高手是谁，介绍认识下:)速度的话，现在的内存数据库不少，oracle也有。

起名字叫固定收益，邮箱都是两个策略，楼主是不是太敬业了，连一点儿自己的个性都没有了。。。。

[此贴子已经被作者于2009-5-6 2:06:41编辑过]