人大经济论坛 › 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛 › 如何用R读取8G大的txt文件？

CDA数据分析研究院

商业数据分析与大数据领航教育品牌



经管云课堂

经管/金融/财会/社科/名师公开课



学术培训

Stata 空间计量 SSCI Python

贵宾：通行论坛特权+数据库权限
+案例库+下载特权 VIP：论坛特权+更多下载次数
+ccerdata数据库+更高阅读权限+……

返回列表

12 下一页

发帖

楼主: guo.bailing

14695 10

[问答] 如何用R读取8G大的txt文件？ [推广有奖]

44关注
165
粉丝

区版主

大师

29%

还不是VIP/贵宾

TA的文库 其他...

文库1

文库2

文库3

威望: 6 级
论坛币: 1336375 个
通用积分: 20283.0375
学术水平: 558 点
热心指数: 776 点
信用等级: 515 点
经验: 147046 点
帖子: 4116
精华: 24
在线时间: 10749 小时
注册时间: 2009-7-9
最后登录: 2024-4-26

楼主

guo.bailing 发表于 2015-9-2 08:03:10 |只看作者 |坛友微信交流群|倒序 |AI写论文

30论坛币

如题。

我有一个8G大小的数据集，其中变量个数13个，列与列之间用逗号分隔，需要读入到R中进行分析研究，但是常规的方法都读不了，求教高手帮忙解决，谢谢？

分享0 收藏2 回帖

关键词：txt 如何用变量个数数据集如何

自助者，天助之！

使用道具举报

沙发

万人往LVR

发表于 2015-9-2 09:05:31 |只看作者 |坛友微信交流群

8G的话一般电脑内存都不够的，如果能分批处理，可以直接用read.table
read.table有两个参数可以用，skip跳过几行，nrows最大提取的行数。这样可以分批处理1:10000,10000:20000行

已有 2 人评分	论坛币	学术水平	热心指数	收起理由
crystal8832	+ 10	+ 1	+ 1	热心帮助其他会员
admin_kefu	+ 20			热心帮助其他会员

总评分: 论坛币 + 30 学术水平 + 1 热心指数 + 1 查看全部评分

使用道具举报

藤椅

soccy 发表于 2015-9-2 10:16:15 |只看作者 |坛友微信交流群

ff package

已有 2 人评分	论坛币	学术水平	热心指数	收起理由
crystal8832	+ 10		+ 1	热心帮助其他会员
ryoeng		+ 1	+ 1	热心帮助其他会员

总评分: 论坛币 + 10 学术水平 + 1 热心指数 + 2 查看全部评分

使用道具举报

板凳

liu7788414

发表于 2015-9-2 11:11:37 |只看作者 |坛友微信交流群

8G不算啥，关键你的内存够多吗？我用32G的内存，500G固态硬盘，64位R，data.table包，毫无压力。

已有 1 人评分	论坛币	收起理由
admin_kefu	+ 10	热心帮助其他会员

总评分: 论坛币 + 10 查看全部评分

使用道具举报

报纸

Tony_Liu

发表于 2015-9-2 15:19:37 |只看作者 |坛友微信交流群

R直接调用内存，这点与SAS不同，所以硬盘多大是没用的，关键看内存

已有 1 人评分	论坛币	收起理由
admin_kefu	+ 10	热心帮助其他会员

总评分: 论坛币 + 10 查看全部评分

使用道具举报

加关注串个门加好友发消息 677 关注 49粉丝禁止访问先生 ryoeng 当前离线阅读权限 0 威望 0 级论坛币 11663 个通用积分 1659.6743 学术水平 202 点热心指数 266 点信用等级 117 点经验 145033 点帖子 1327 精华 0 在线时间 1204 小时注册时间 2014-12-23 最后登录 2024-4-18 雷达卡	地板 ryoeng 发表于 2015-9-2 19:23:22 \|只看作者 \|坛友微信交流群 ff 程序包 (Final Fantasy?) 呵呵～提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报显身卡