如何处理大型数据集？

data.table不能处理超出内存的数据。

我用data.table 读  5.259G数据  用了3‘17

换Linux下的R不知道可不可以加快？

用read.csv.ffdf()读完数据后，存储后下次怎样不用再读就可以用了啊？

SAS和ff处理大型数据的思路是一样的，都是在硬盘上创建高效率二进制文件，只在需要的时候将部分数据如入内从中。

jiangbeilu 发表于 2014-11-30 22:35
读比较大的数据，可以试一下data.table包中的fread函数，上次我用这个来读2个G的数据，速度还是挺快的。

data.table无法处理尺寸超出内存的数据。

以前在R里读过一个4百多万的数据，3G内存的电脑直接报错。后来换成了8G内存的，不再报错了。

请问楼主，这个Kaggle上已经完成的项目，他们的代码结果会公布吗

{:3_42:}