求助：比rbind更快的合并数据方式？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

请教，现在需要合并上千个10M左右的csv文件，用循环rbind的方式到后来就太慢了，不知道有没有更好的方式？
感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：rbind 合并数据 bind bin IND 左右

10G的表合并，合适的工具搜一下版主hubifeng？转载的文章，关于hadoop那个。
可以肯定的是，这样的工作，R不合适

可以在R外面，用cat命令把csv串到一起，再用R读入。

非要用R做，我的方式是先初始化一个大的空matrix或data.frame，然后读一个csv填几行，慢慢填满。实测过，会比rbind快很多。

上千个10M左右的csv文件也就是几十GB，不算大数据

biohuang 发表于 2015-3-19 15:20
可以在R外面，用cat命令把csv串到一起，再用R读入。

非要用R做，我的方式是先初始化一个大的空matrix或d ...

恩，两个主意都不错，谢谢啦。

nuomin 发表于 2015-3-19 15:07
10G的表合并，合适的工具搜一下版主hubifeng？转载的文章，关于hadoop那个。
可以肯定的是，这样的工作，R ...

谢谢，回头我去看一下。