关于R的内存以及回归分析样本量的问题

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

各位大神好，最近用R遇到了一些问题，在此请教大家：1、R函数里面的memory.limit()最大能设置到多少？其单位是什么？我看网上说的，一般是64位的电脑的话，能设置到100G，也就是memory.limit(100000)。但是我R里面显示：
> memory.limit()
[1] 1.759219e+13


为什么数值这么大？其单位是什么呢？但是问题在于数值这么大，但还是有很多数据（大概几G的csv）还是读不进来，写不出去。所以请教一下这是为什么呢？

2、如果样本量有几十亿行，跑一个probit回归，R可以跑出来吗？.....如果不行的话，那用什么软件才可以跑出这样样本量的回归呢？

在此先谢谢大家！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：回归分析样本量 回归分析 样本量 Probit回归 memory R语言 内存 回归分析

单位是b，100G大概是1.0e＋11b，所以R的内存设定是够的，按道理你的数据是可以读进去的。但这只是存储的限制，实际上还有运算能力的限制，比如某些回归分析，运算量可能是以变量数为指数的级别，而指数型量级有多夸张你只要想想棋盘放米的故事就明白了。所以要顺利运算，一是考虑降维，二是优化程序，三是选择合适的实现代码，比如R运算速度慢，就要考虑用c＋＋或者julia之类的语言。

llb_321 发表于 2020-5-21 14:03
单位是b，100G大概是1.0e＋11b，所以R的内存设定是够的，按道理你的数据是可以读进去的。但这只是存储的限制 ...

感谢您的回复！如果单位是b的话，为什么我的电脑里面memory.limit()会有10^13那么多呢？那不就应该等于10000GB了吗？我看网上说64位的电脑R里面的memory.limit()最多能设置到100GB的内存~

其实我也不晓得为啥子搞辣么大。你用的是服务器吗

llb_321 发表于 2020-5-23 00:24
其实我也不晓得为啥子搞辣么大。你用的是服务器吗

不是呀，就是普通的笔记本电脑，内存也就8G，不懂得这个10^13的单位是什么

可以看下帮助文档哦。memory.limit的单位是Mb，和电脑及R是32/64位有关



另外R一直是用内存存储变量的。既然你的电脑内存只有8G，受电脑限制，1G大小以上的数据都很难导入的。可以考虑按行分批读入