对大数据如何用R高效处理

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我的数据有1000万个观测，每个观测有100个变量，在R中导入csv文件的时候总是死机，有没有什么包能提高效率啊，快点导入数据然后做一些基本的统计分析，比如求和，求平均，t检验，方差分析等。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：提高效率 统计分析 方差分析 高效率 基本的

卑鄙的我lzw 发表于 2018-10-12 00:17
我的数据有1000万个观测，每个观测有100个变量，在R中导入csv文件的时候总是死机，有没有什么包能提高效率啊 ...

什么数据这么大？换电脑吧

data.table啊

大概10G以内的数据量

卑鄙的我lzw 发表于 2018-10-12 00:17
我的数据有1000万个观测，每个观测有100个变量，在R中导入csv文件的时候总是死机，有没有什么包能提高效率啊 ...

用fread函数试一下

飞6666 发表于 2018-10-12 08:25
什么数据这么大？换电脑吧

emmm.....电脑是学校给配的i5-6500 CPU @3.20GHz  3.2GHz，有点破，换不了{:3_60:}

cheetahfly 发表于 2018-10-12 11:09
大概10G以内的数据量

{:2_36:} 小哥哥。。这个图是啥意思啊是不同函数读取数据的速度吗？看不太懂，能不能给解释一下啊QAQ

哎呦不错哦~ 发表于 2018-10-12 13:45
用fread函数试一下

嗯嗯，好滴，我查到fread() 是data.table中的函数，我去认真学习一下(*^▽^*)

卑鄙的我lzw 发表于 2018-10-12 22:40
小哥哥。。这个图是啥意思啊是不同函数读取数据的速度吗？看不太懂，能不能给解释一下啊QAQ[cry ...

首先考虑data.table，关注sparklyr或SparkR