楼主: xjh_109

6957 15

[问答] R读取6.8G的大文件txt中的部分列，求帮助！ [推广有奖]

11楼

ntsean 发表于 2016-7-16 21:11:31

sparkR will solve your problem even you have 4G memory

12楼

bbslover

发表于 2016-7-17 01:23:56

数据太大，可以先读取一定·行数·，一定·列数·。

13楼

lqj530

发表于 2016-7-17 06:31:49 来自手机

xjh_109 发表于 2016-7-14 18:54
R读取6.8G的大文件txt中的部分列，求帮助！

一行一行读取，readLine函数

14楼

万人往LVR

发表于 2016-7-17 19:57:01

一种是先在本地建一个mysql，将txt存入mysql后利用RODBC包读取数据

另一种利用ff包的read.table.ffdf函数直接读入磁盘，再提取相应的列。具体见帮助文档https://cran.r-project.org/web/packages/ff/ff.pdf

15楼

xjh_109 发表于 2016-7-18 17:53:40

非常感谢大家的解答，问题现在解决了，笨办法解决的，用perl进行选取相应的列之后文件变成3.2G左右，之后进行perl文件分割，分为四个文件，分别进行读取后进行分析！

大家建议的解决方法和我查到的基本差不多！但是主要是初步分析，电脑内存也不想在加了！

最后还是感谢各位！

16楼

二表哥来救我 发表于 2019-11-4 11:06:56

鱼籽酱牛肉酱发表于 2016-7-14 19:15
data

用read.table函数读取较大文件会卡住

加好友,备注cda
拉您进交流群