求助：R语言写入（磁盘）速度很慢

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

把数据写入到文档中（最好是.yaml,.txt,.log格式的文件）：
数据大小为：1209MB；
数据类型为：list，每一行都是长字符串（日志数据，例如：2016-11-08 17:24:11.430 10096 DEBUG oslo_concurrency.lockutils [-] Acquired semaphore "singleton_lock" lock /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:198
）
函数：write.table；写完总共需要时长：296.18s；
平均每秒钟写入（磁盘）4MB；

求助：有没有快一点的方法？

感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：R语言 Singleton currency Packages acquired 字符串 最好

暂时找到解决方案：readr::write_lines
写入速度可达90MB/s

楼主厉害！

试试data.table包

读写的，可以用feather包里的write_feather，速度会快一些。

读写问题，如果是固态硬盘的话，应该会快一些。

jiangbeilu 发表于 2017-1-1 09:54
读写的，可以用feather包里的write_feather，速度会快一些。

读写问题，如果是固态硬盘的话，应该会快一 ...

感谢！
可是我看write_feather（x,path）中的x必须是data frame
我的数据是一个超大的list，元素都是比较长的文本字符串（日志文件，你懂的），我试了一下as.data.frame()转换格式，但是转换成data frame的时间很长

wangfs111222 发表于 2016-12-31 22:37
试试data.table包

data.table的包我用过一些里面的函数，但是没找到可以快速写list类型数据的函数，求告诉一下函数名字，我试一下，感谢！