用海量数据做R语言回归，拟合的结果数据量庞大的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

用R做大量数据的回归分析的时候才发现的问题。
例如，随机生成了1000000个自变量x和因变量y进行逻辑回归，result<-glm(y~x,family=binomial)，为什么得到的result变量竟然有400多m！难道其中是包含了每一步中间过程迭代的结果吗？如果是的话，要怎么只得到想要的部分（系数和P值）呢?
PS，因为电脑的内存有限，在做这样的百万级别的数据分析时发现内存不足了，不是用summary，而是直接跳过得到辣么大的拟合结果那步，希望能得到解决的方法 。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：海量数据 R语言 Result RESUL 回归分析 回归分析 result 因变量 自变量

有人知道这个问题吗

philomochi 发表于 2016-9-21 08:04
用R做大量数据的回归分析的时候才发现的问题。
例如，随机生成了1000000个自变量x和因变量y进行逻辑回归， ...

加内存

lqj530 发表于 2016-9-21 23:24
加内存

R.NET32位平台，内存不能再加了。我觉得这个问题挺大的，以前没人碰到过吗

R 上有些很好处理 big data 的 lm或glm的packages ，如biglm,biglar ,biglasso,bigmemory

我也是这个问题，不知道怎么解决

philomochi 发表于 2016-9-22 08:22
R.NET32位平台，内存不能再加了。我觉得这个问题挺大的，以前没人碰到过吗

我给我对象的电脑都32g内存，我16g，加内存看好ddr3还是ddr4，频率要对应上，换系统重装不就完了。下一个电脑品牌专用的win764位，运行流畅的一逼，别信雨林深度电脑公司那些，对应品牌的专用好用。

i wan t to know why this hppened