如何高效合并大量的data.frame

用mySQL

1000个，10000行*10列，七秒即完成，可和dplyr::bind_rows !!!!,    计算复杂度：o(n)

1000个，10000行*10列的data.frame，七秒即完成，可用dplyr::bind_rows !!!!,    计算复杂度：o(n)  n 为 行。

jgchen1966 发表于 2016-10-9 14:20
1000个，10000行*10列的data.frame，七秒即完成，可用dplyr::bind_rows !!!!,    计算复杂度：o(n)  n 为 行 ...

当时用过这个方法，由于我的系统还是32位的，所以给出出错信息：
“Error: cannot allocate vector of size 58.6 Mb”

cheetahfly 发表于 2016-10-9 17:45
当时用过这个方法，由于我的系统还是32位的，所以给出出错信息：
“Error: cannot allocate vector of s ...

内存不足，如何读入就要考虑读入如此多数据量的目标是何，再来选择虚似或分布读入方式：如bigmemory,h2o,ff等等中一些方法，否则，只能增加内存条。。。扩大至16G，也难以读入3000个10000*10的data.frame!!!!
  

data.table 最大问题是：一是会不经意间，改变观察的行序，给后序的数据分析带来“无法观察”的错误。。二是R  中大量ML方法不支持，还得转化为data.frame，这个转为是不可改变（immutable）吗？？？data.table 本身并不保证，尤其对不想在数据转化上浪费太多时间的人！！

jgchen1966 发表于 2016-10-9 21:07
data.table 最大问题是：一是会不经意间，改变观察的行序，给后序的数据分析带来“无法观察”的错误。。二是 ...

同意，在实践data.table过程中，觉得跟其他分析结合好费劲，我现在还是选择data.frame多一点。 不过，data.table的合并功能的确很棒！