R读取6.8G的大文件txt中的部分列，求帮助！

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

R读取6.8G的大文件txt中的部分列，求帮助！


具体问题如下：

我想用R读取一个6个G的txt文件450K行X1700列，电脑内存12G，我用utraedit能打开，我复制了一部分行进行excel进行分析，我发现只需要矩阵中的1,2,--5,6,--9,10.........这样循环下去，我该怎么办？

谢谢各位大侠不吝相助！

想提取的列就是红框标记的列：

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：txt 求帮助 EXCEL xcel Edit R语言 电脑 数据处理问题

data<-read.table("E:/data.txt", header=TRUE, sep= "\t",fill=TRUE)
data1<-metdata[c(-3,-4,-7,-8)]
write.table(data1,file="E:/data1.txt",sep="\t",row.names=FALSE,col.names=FALSE,quote=FALSE)
这样列名也变成V1V2方便一点

鱼籽酱牛肉酱 发表于 2016-7-14 19:15
data

你没有看懂我的意思，一共1700多列，我需要循环读取！

看看data.table包中的fread函数的select参数，应该能解决你的问题

或者先把数据写入dbms，再用sql语句select某些列

导进数据库吧，或者用ff包或者data.table的fread函数

数据用perl进行了选取，但是现在新的问题来了，要用R进一步分析，R直接读取不了，卡死了，用楼上几位说的data.table包进行加载，72.1%也卡死了，郁闷啊！内存8G+4G，看来还是不行！

求帮带！@zl66983279，@马甲1号，@bbslover

xjh_109 发表于 2016-7-14 18:54
R读取6.8G的大文件txt中的部分列，求帮助！

用Python结合R来解决吧

xjh_109 发表于 2016-7-15 11:35
数据用perl进行了选取，但是现在新的问题来了，要用R进一步分析，R直接读取不了，卡死了，用楼上几位说的da ...

不需要用perl选取啊，你按照bbslover说的，用data.table里的fread函数，用select参数进行列的选取，就可以了。

128g内存路过，有服务器