大家都使用什么方法让百万级别的数据在R语言中有效的运行。

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大家都使用什么方法让百万级别的数据在R语言中有效的运行。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：什么方法 R语言

用dplyr、tidyr等packages，把data.frame转换成tibble类型，够用。

基本上需要和Hadoop结合在一起了

加大内存

飞天玄舞6 发表于 2017-1-21 17:49
基本上需要和Hadoop结合在一起了

handoop做可视化怎么样

zhou1_20 发表于 2017-1-21 19:12
handoop做可视化怎么样

可视化不知道，我也是刚开始学

正常来说，百万级的数据，R处理问题不大。
dplyr tidyr都可以处理，但速度不是优势，但是可以接受
data.table可以达到python级别的处理速度
机器学习建模用h2o速度很快

felixzhao123 发表于 2017-1-22 08:50
正常来说，百万级的数据，R处理问题不大。
dplyr tidyr都可以处理，但速度不是优势，但是可以接受
data.t ...

ok

cheetahfly 发表于 2017-1-21 16:32
用dplyr、tidyr等packages，把data.frame转换成tibble类型，够用。

data.table里面的data.table类型是所有R包里面最快的，千万级别的数据也可以处理。不过最好能有一个服务器来处理这样类型的数据。