r语言快速读入数据的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

本人R语言新手，请多指教
最近遇到一个问题
有一个output.txt文件，内容如下
item     change        p
1             0.1         0.5
2             0.2        0.02
3             -0.1      0.1
4             0.2        0.4
………
这样的数据有1千万行，我只是展示了其中一部分
我现在要将最后一列的p值读到一个数组之中，然后用一个函数处理它。
我试了两个程序，发现读入速度极慢，只有c语言的万分之一，我觉得可能是自己编写的方法不对，我把程序展示一下，请大神指点
（1）
con<-file("output.txt","r")
line<-readLines(con,n=1)
line<-readLines(con,n=1)
ptemp<-c()
while(length(line)!=0)
{
valueo<-strsplit(line,"\t")  
value<-as.numeric(valueo[[1]][6])
   
ptemp<-c(ptemp,value)

line<-readLines(con,n=1)

}
close(con)
(2)
library(qvalue)
qtemp<-read.table("output.txt",header=T)
qtemp<-qtemp[,3]

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：读入数据 R语言 change output outpu change c语言 程序

1. library(data.table)
   
2. fread()

复制代码

1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列
大概20秒

yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...

按照你的方法，成功读入了，用了1分钟，很快了，非常感谢！
我之前用程序的是R，很久都没反应,我这次用了R studio，就能读入了，看来好平台很重要。

yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...

read.table(...skip=1)  skip属性是什么意思？谢谢

yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...

你好想问你个问题：
如果数据文件比较大，读取时间会比较慢，因此想只读取一部分数据，该怎么做呢？
用read.table可以实现吗？或者有什么按条件读取的语句？谢谢讲解一下

假设数据文件是这样的，只希望读取2014年的数据。
Date                  income              outcome
1900-01-01         10                      20
2012-07-02         30                       50
...

2014-12-31         70                           30

试试看用data.table的fread