如何处理大型数据集？

好东西啊，顶一个

1G内存处理8G的数据什么软件也快不了。ff可用，但是添内存才是硬道理。

ff的极限是你硬盘的尺寸。

soccy 发表于 2014-11-11 09:46
ff的极限是你硬盘的尺寸。

有其他的方法可以分享...

还有bigmemory系列。缺点是不如ff灵活。

参考这个：http://www.cybaea.net/Blogs/Big-data-for-R.html

看来还是要回几门语言才行啊

soccy 发表于 2014-11-11 09:45
1G内存处理8G的数据什么软件也快不了。ff可用，但是添内存才是硬道理。

硬件尤其是内存还是很重要的啊！

我也注册了kaggle，这是干嘛的？还要比赛？

读比较大的数据，可以试一下data.table包中的fread函数，上次我用这个来读2个G的数据，速度还是挺快的。