楼主: Eco_pinus
1445 1

[问答] 关于R中大数据导入的问题 [推广有奖]

  • 0关注
  • 0粉丝

学前班

70%

还不是VIP/贵宾

-

威望
0
论坛币
0 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
20 点
帖子
1
精华
0
在线时间
3 小时
注册时间
2014-6-24
最后登录
2014-6-30

楼主
Eco_pinus 发表于 2014-6-24 09:36:14 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
有一个数据文件(out.txt),有100万条记录,大小为946M。用read.table(“out.txt”, header=T)导入R中,存在2个问题:

(1)速度太慢,我的笔记本电脑一般耗时10分钟。不知各位牛人们有没有好的办法。

(2)似乎不能完全导进去,提示错误为:“can not allocate vector of size 7.6Mb”。另外有20个warnings,都是说“reached total allocation of 1535Mb”。但是数据记录只有20万条时没有问题,这是不是电脑的内存不足造成的,还是有别的原因?有什么办法可以解决。

坐等答案。谢谢各位牛人了!

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:数据导入 大数据 ALLOCATION warnings Location 中大

沙发
五指山(zoof) 发表于 2014-6-24 10:05:07
顶,我也困惑这个问题

我自己是分成4个文件读入,让后在R中合并,当依然很慢

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2026-1-5 17:49