终于总结了一下，SAS如何处理海量数据和相关解决方法（1）

楼上几位都是行家 牛！多多交流

不错

多谢楼主分享

顶一下。大数据时代来临，硬件和软件遭遇瓶颈。

好文。

好文章

学习一下，LZ很厉害

夸克之一 发表于 2011-10-12 19:59
老大，我问个STATA的问题可以么？不到1T的数据，STATA是否有可能处理。一般的计算机内存不足以应付了。这个 ...

      版主也知道stata需要加载到内存运算的，如果一次加载超过你的计算机内存肯定不行的，看你需要做什么处理了，1T的数据也太大了吧，我的电脑四核8g内存够厉害的了，但是在stata里面做矩阵运算也忍受不了它的速度，而且一次不能加载太多数据，只能把矩阵分割做。
    你的1T数据如果不是整体一起处理的话，只是由无数个重复步骤叠加的话，随便哪个软件都可以吧。

SAS处理的海量数据，并不代表它现阶段可以处理无穷无尽的数据，相对来说那些数据是足够多的了，像window系统一样，有32位系统，64位系统，还有以前的16位，虽然32位的可以支持的内存是4g，而64位的内存可以支持的是128G……看看你笔记本的内存可以插到128g不？有时候硬件不支持，插槽不够。。而有些服务器级别的计算机，支持的内存是超过500g的内存了，装的系统版本不同，。软件的内核也不同，也有可能是软件内核的限制，。一般人都用不着的了。。绝大部分人就目前用64位的系统是没问题的。。如果说你导入的数据时非常大的话，一次性的导入到工作区间，把数据放在缓存上，其实没有必要的，那样效率会受到限制，数据多，很多是冗余来的。。   不过互联网产生的数据就越来越多了，个人倾向于对原始数据筛选后聚类or分组or抽样。