SAS BASE能处理的最大观测数是多少？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

现在研究hadoop的很多，想请教一下有这方面经验的高手：SAS BASE能处理的数据量上限大概是多少，多大的数据量才需要用hadoop？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：SAS base Base 是多少 Hadoop Had

记录数不是这两个完全不同工具使用场景的区分因素

两者好像侧重点不一样吧，sas理论上限是你的硬盘容量

SAS可以处理的数据大小取决于你硬盘的大小，但是我的经验是上千万条观测，差不多也就是几个g的数据集，用机械硬盘5400转+4G内存+32位SAS处理起来就已经比较吃力了

用hadoop的目的主要是存储nosql类型的数据，以及并行处理，和SAS不矛盾，hadoop不是SAS的更新形态，SAS也有自己的分布式解决方案，只不过不开源不免费一般人碰不到，hadoop免费又开源随便哪个人都可以拿来用

我处理过的最大的SAS数据集有342GB，差不多3亿条OBS，不过是在AIX上面。windows的话，2亿就差不多悲剧了……。

商业应用的话用比较好的存储，除了特殊场景，SAS对数据的处理没有极限
百亿条的流水或是数千变量的宽表都没问题

soporaeternus 发表于 2014-11-21 15:52
商业应用的话用比较好的存储，除了特殊场景，SAS对数据的处理没有极限
百亿条的流水或是数千变量的宽表都没 ...

请参考官方的说法
[text]
The information below applies to SAS 9.2 ONLY
Understanding the Maximum Number of Observations
A SAS data set stores the number of observations it has as an integer in the C programming language signed long-data type. This means that the maximum number of observations that can be counted for a SAS data set is limited by the long integer size for the operating environment.
In operating environments with a 32-bit long integer, the maximum number is 2**31-1 or approximately two billion observations.
In operating environments with a 64-bit long integer, the number is 2**63-1 or approximately 9.2 quintillion observations.
[/text]

对于9.2来说，32位最大是20亿条，64位的就没边了

处理过1T的。

超过千万条就已经很慢了。