楼主: fengw417
11910 16

[问答] 如何使用R语言读取20G左右的SAS数据 [推广有奖]

  • 0关注
  • 3粉丝

硕士生

82%

还不是VIP/贵宾

-

威望
0
论坛币
50 个
通用积分
6.4864
学术水平
16 点
热心指数
14 点
信用等级
9 点
经验
7201 点
帖子
146
精华
0
在线时间
224 小时
注册时间
2012-10-19
最后登录
2024-7-3

3论坛币
SAS数据量太大,20个G左右,R能读取进来吗?我知道有个ff包可以将数据读到硬盘上,但是好像没有函数可以读SAS格式的数据,求高人指点

最佳答案

512002855 查看完整内容

不一样,R是将所有数据放在内存中操作的,数据库则是将数据存放在硬盘上的。 用R 处理20G的数据,建议你将电脑的内存扩大到32G。 如果可以将数据导入数据库,用SQL也可以做很多分析,然后用数据库随机抽一些样本,选一些比较好的指标,将数据量缩小后即可用R跑模型。
关键词:如何使用 R语言 求高人指点 高人指点 读取数据 如何 左右

回帖推荐

YinHeng 发表于13楼  查看完整内容

用ff包 把数据读入成ffdf类型 bigdata = read.csv.ffdf(file=”c:/fileloc/bigdata.csv”, first.rows=5000, colClasses=NA) 数据框也可以作类型转换成ffdf类型 bigdata

本帖被以下文库推荐

沙发
512002855 发表于 2015-1-20 17:22:24 |只看作者 |坛友微信交流群
fengw417 发表于 2015-1-21 10:02
谢谢您的回答,我还有个疑问,就是导入数据库,那数据不还是20G吗,再导入R应该还是不行吧
不一样,R是将所有数据放在内存中操作的,数据库则是将数据存放在硬盘上的。

用R 处理20G的数据,建议你将电脑的内存扩大到32G。

如果可以将数据导入数据库,用SQL也可以做很多分析,然后用数据库随机抽一些样本,选一些比较好的指标,将数据量缩小后即可用R跑模型。
已有 1 人评分经验 收起 理由
李会超 + 60 热心帮助其他会员

总评分: 经验 + 60   查看全部评分

使用道具

藤椅
soccy 发表于 2015-1-20 19:22:32 |只看作者 |坛友微信交流群
先把数据输出成csv格式,然后就可以用ff进行处理了。

使用道具

板凳
heric221 在职认证  发表于 2015-1-20 21:55:19 |只看作者 |坛友微信交流群
20G的数据输出成CSV格式,也有点难度。

使用道具

报纸
soccy 发表于 2015-1-21 00:59:28 |只看作者 |坛友微信交流群
或者将数据导入数据库(sqlite或者mysql),然后用相应的R包进行存取。

使用道具

地板
512002855 发表于 2015-1-21 09:29:16 |只看作者 |坛友微信交流群
1.foreign包中的 read.ssd()函数,Hmisc包中的sas.get()函数,可以读取SAS数据集。
2.用proc export将SAS数据集保存为逗号分隔的文本文件,再用read.table()读取。
3.用Stat/Transfer软件将SAS数据集转换为R数据文件。

-------------
还有个问题,你电脑的内存多大?20G的数据被R读取,把内存撑爆,死机的可能性非常大。
已有 2 人评分经验 论坛币 收起 理由
dxystata + 20 + 10 精彩帖子
李会超 + 60 精彩帖子

总评分: 经验 + 80  论坛币 + 10   查看全部评分

使用道具

7
fengw417 发表于 2015-1-21 10:02:21 |只看作者 |坛友微信交流群
soccy 发表于 2015-1-21 00:59
或者将数据导入数据库(sqlite或者mysql),然后用相应的R包进行存取。
谢谢您的回答,我还有个疑问,就是导入数据库,那数据不还是20G吗,再导入R应该还是不行吧

使用道具

8
fengw417 发表于 2015-1-21 10:04:40 |只看作者 |坛友微信交流群
512002855 发表于 2015-1-21 09:29
1.foreign包中的 read.ssd()函数,Hmisc包中的sas.get()函数,可以读取SAS数据集。
2.用proc export将SAS数 ...
内存8G,虽然没死机,但也读不进去

使用道具

9
平军 在职认证  学生认证  发表于 2015-1-21 18:23:54 |只看作者 |坛友微信交流群
R有个foreign包,不知能否解决这个问题

使用道具

10
fengw417 发表于 2015-1-23 11:42:48 |只看作者 |坛友微信交流群
平军 发表于 2015-1-21 18:23
R有个foreign包,不知能否解决这个问题
格式倒还不是问题,我已经转了,关键是大小问题

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-11-5 17:24