请教R处理大数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我要处理一些基因芯片数据，数据量小时，可以运行。但是在标记数为45181，动物数为3081，但是在导入R中时，显示不能分配1000Mb内存。
程序句子：
m<-matrix(scan("D:/SNPdata.txt"),ncol=nmarkers,byrow=TRUE)

显示问题：
Error: cannot allocate vector of size 1000.0 Mb

请教大家，有什么方法可以导入这些数据，进行计算，很着急啊。谢谢大家了。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：大数据 基因芯片 数据 请教

在R里面找到那个参数，我记得有个地方是改最大分配内存的，你找找，在Preference之类的地方。

谢谢，我使用了memory.limit(1500)，但是仍然出错与原来的一样。我的电脑是2G的内存，E5200双核CPU

同问
我有一组股票数据做portfolio optimization，有300多只股票一年的数据
可是就是说错误，
如果只用其中150只左右的话就可以！
疑惑中！（memory.limit射到4500都不可以）

LZ可以下载一个Package叫bigmemory。里面重新为大的数据集构建了类，在处理大数据集的功能上（包括几十GB）基本上是最前沿的。链接为cran.r-project.org/web/packages/bigmemory/

五楼神勇无敌啊，这个好东西都被你发现了，我测试一下，如果lz向处理大数据，不妨尝试一下S-PLUS，它有一个专门用来处理大数据的库，biglibrary。有啥问题可以法帖探讨，不知道lz下一步想对数据作何处理呢？

ltx5151 发表于 2009-10-27 16:05
LZ可以下载一个Package叫bigmemory。里面重新为大的数据集构建了类，在处理大数据集的功能上（包括几十GB）基本上是最前沿的。链接为cran.r-project.org/web/packages/bigmemory/

好贴，谢谢分享！

如果楼上两位用了bigmemory，不妨一起讨论下，http://www.pinggu.org/bbs/thread-576910-1-1.html。这是我之前发的一个帖子，是我的一点疑问。不知有何看法。

同问啊！

well,bigmemory package is effcient. of course I give you another two choices,mapReduce and RHIPE(using Hadoop). they are also available to tackle big dataset I think.