【经验分享】如何让R语言处理大数据时效率不降低

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

本人在实际研究过程以及阅读文献总结出来，R（我用的是Rstudio）在运行某些复杂的模型，加之庞大的数据时，往往会出现越运行越卡的现象，提供一个较好的解决方法（实测有效），仅供参考普通直接用read.csv读入的是dataframe，现用data.table以及dplyr两个包对数据进行加载，分两步进行，代码如下：


library(data.table)
data_train_select<-fread('data_train_select.csv')
#应用dplyr一般化表格数据
library(dplyr)
data_train_select<-as.tbl(data_train_select)


实测能显著改善Rstudio运行效率。
另外在程序代码中设置gc()释放内存也是一个比较好的习惯。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏4 回帖

关键词：经验分享 语言处理 经验分 大数据 R语言 R语言效率

不错

jmq19950824 发表于 2018-10-8 11:05
本人在实际研究过程以及阅读文献总结出来，R（我用的是Rstudio）在运行某些复杂的模型，加之庞大的数据时， ...

谢谢分享

fread是快速读取。其实只是读取的速度变快了，跟效率没太大关系。

jiangbeilu 发表于 2018-10-9 22:41
fread是快速读取。其实只是读取的速度变快了，跟效率没太大关系。

谢谢指正！

tibble

强烈推荐一个包，future，可以让你的程序变多线程。真正的提速，硬盘IO操作不用再等待，直接交给其他线程处理。

shmayor 发表于 2018-10-10 22:05
强烈推荐一个包，future，可以让你的程序变多线程。真正的提速，硬盘IO操作不用再等待，直接交给其他线程处 ...

好的，等会试下，多谢！

shmayor 发表于 2018-10-10 22:05
强烈推荐一个包，future，可以让你的程序变多线程。真正的提速，硬盘IO操作不用再等待，直接交给其他线程处 ...

谢谢分享

shmayor 发表于 2018-10-10 22:05
强烈推荐一个包，future，可以让你的程序变多线程。真正的提速，硬盘IO操作不用再等待，直接交给其他线程处 ...

您好，请问一下，我的数据集有1000万个观测，100个变量，在用csv导入R的时候经常死机，这个包能解决这种情况吗，还有实现一些简单的变量计算