如何提高R读取大体积sas7bdat文件的效率？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

用R读取一个 1.9G 的 sas7bdat 文件(1700万行，18列)，我笔记本电脑 8G 内存，i7-6700HQ，64位win10 家庭版，硬盘也是SSD，按理说硬件是足够的。而且上个月刚买的电脑，应该不存在电脑问题。

我用sas7bdat数据包来读取数据文件，
用的命令也是普通的  mydata<-read.sas7bdat("c:/rdata/xxx.sas7bdat")

一开始R使用内存一路飚到 4.5G 左右，后来又下降慢慢稳定到 2.6G，
CPU使用率一直保持在17%左右。

但是问题是等了30分钟，R界面鼠标一直在画圈...

我试了好几次，都这样，我R版本是3.3.0，
也试了基于3.2.4 R 的Revolution R open，情况是一样的。

有几个问题想请教大家：
1. 有人试过R读取大体积sas7bdat文件吗，效率大概怎么样？
2. 要怎么加速R读取大体积sas7bdat文件的效率？

多谢大家。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：sas7bdat dat文件 如何提高 BDA 笔记本电脑 笔记本电脑 数据包 如何 而且 硬件

nothk 发表于 2016-5-25 05:27
用R读取一个 1.9G 的 sas7bdat 文件(1700万行，18列)，我笔记本电脑 8G 内存，i7-6700HQ，64位win10 家庭版 ...

理论上应该能读，具体这么大的没试过，我一直用sas，对硬件要求不高

yunnandlg 发表于 2016-5-25 07:45
理论上应该能读，具体这么大的没试过，我一直用sas，对硬件要求不高

刚我等了一个多小时，R界面上鼠标指针还一直在画圈...忍不住就关掉了...

我8G内存是够的，cpu 硬盘也ok...我估计是sas7bdat包的问题，但sas7bdat包应该是最方便的了，打开体积比较小的数据还是挺快的。

nothk 发表于 2016-5-25 08:06
刚我等了一个多小时，R界面上鼠标指针还一直在画圈...忍不住就关掉了...

我8G内存是够的，cpu 硬盘也o ...

实在不行建议换其他格式试试，要快的话用stata运算最快

@nothk 你好，正好一个朋友也遇到同样的问题。

最后发现是包的问题，用haven这个包就可以较快速地读取了

安装完haven包后运行下面的语句就可以了

1. library(haven)
   
2. dataset <- read_sas(file_path)
   
3. #例如：dataset <- read_sas("C:\\sas.sas7bdat")

复制代码