如何解决内存不够的问题？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

推荐一本云计算的书：
https://bbs.pinggu.org/thread-3574343-1-1.html
推荐拿磁盘当内存用的ff包：
http://ff.r-forge.r-project.org/
RevoScaleR包：
http://blog.revolutionanalytics.com/2011/05/big-data-analysis-in-revolution-r.html

---------------------------------------------
最近利用文本数据做关联分析，发现内存不够。由于问题比较特殊，不适合进行抽样。请问如何解决内存不够的问题？比如程序会产生50G的数据，且无法优化、分步，64G的内存条太贵买不起，我技术比较菜鸟，没有接触过大数据，请问：
1.是否有利用电脑磁盘替代内存的方法？
2.云计算是否可以解决？如果有，R如何操作？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Revolution Evolution Analytics R-Project Analytic 如何

1.内存不够，先优化算法，看能否分步进行或者分块进行。
   换用别的存储方式也是可行的，比如用data.table而不是data.frame等
2.硬件方面，可以加内存条。

3.利用电脑磁盘，这个只有在linux系统中利用swap空间可以做到，windows没有尝试过。

jiangbeilu 发表于 2016-3-1 10:10
1.内存不够，先优化算法，看能否分步进行或者分块进行。
   换用别的存储方式也是可行的，比如用data.tabl ...

谢谢提醒，已经修改问题的问法

云计算可以解决吧，买服务器，在服务器上跑

Microsoft Azure有专门的跑Machine Learning的机器Azure ML以及其他Data Science相关的技术平台，非常牛逼

太酷了

suimong 发表于 2016-3-1 21:27
Microsoft Azure有专门的跑Machine Learning的机器Azure ML以及其他Data Science相关的技术平台，非常牛逼

好的谢谢~

台式机内存条快成白菜价了。云计算还是要非不少力气进行配置，不一定划算。

soccy 发表于 2016-3-2 09:19
台式机内存条快成白菜价了。云计算还是要非不少力气进行配置，不一定划算。

只是举个例子，将来可能上T的运算总要用到

我看到有两篇以上的书或文章都提到ff包。称其是解决大数据集（相对内存）的，比较直接和易用的解决方法，可以参考一下。