楼主: qiustata
1884 9

[问答] R请问出现错误,9G的向量无法分割,除了是memory不够,还有其他原因吗? [推广有奖]

  • 7关注
  • 0粉丝

本科生

6%

还不是VIP/贵宾

-

威望
0
论坛币
1 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
260 点
帖子
74
精华
0
在线时间
36 小时
注册时间
2011-10-8
最后登录
2022-5-3

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
是这样的 做一个数据分析 前面还好好的 后来要算aic 然后弄了个glm

结果就出现9G的向量无法分割 网上查了一下说是memory不足,但我看了我这个有16g阿,怎么会不够啊
我用memory.limit查了一下也是16g左右,请问还会有其他原因吗?

在memory不足的假定下,我在做aic之前还用了rm()删了一些不需要的代入项,可是最后还是出现9g向量无法分割,一点都没变小阿,跪求高手,搞了一下午,转了10多次了,gc什么也用了 一点都没变化啊

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:memory limit 数据分析 AIC 求高手 memory

回帖推荐

ltx5151 发表于5楼  查看完整内容

通常来说,那些占内存的变量是你的程序在运行中产生的,这跟你删除一些自己的已知变量关系不大。有可能你的程序在执行时会有一些中间变量。 可能可行的处理方式: (1)改一下程序,查看那些地方执行效率不够高,换用更加高效的方式。有没有online的算法,或者可以并行化的执行方式。程序中有没有产生一些中间变量,是否有更节省空间的方式运行,或者可否利用一些特殊技巧。比如矩阵运算,有没有特殊结构,sparse,low rank, ...
沙发
ltx5151 发表于 2012-4-21 04:30:46 |只看作者 |坛友微信交流群
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存,比如你之前调用的程序已经分配了极大的空间来储存相关的变量。

使用道具

藤椅
qiustata 发表于 2012-4-21 14:33:56 |只看作者 |坛友微信交流群
ltx5151 发表于 2012-4-21 04:30
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存 ...
谢谢阿 那我用rm删了一点不需要的 还是不变啊 会瞬间暴涨么

使用道具

板凳
qiustata 发表于 2012-4-21 14:42:57 |只看作者 |坛友微信交流群
ltx5151 发表于 2012-4-21 04:30
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存 ...
我用rm删了一点不用的大数据 还是没变
还是说9.2G向量无法分割
这是为什么?????

一般碰到内存不够大家怎么办?

这已经是最好的电脑了 最好的r了
现在阶段找不到更大的了

使用道具

报纸
ltx5151 发表于 2012-4-21 16:05:10 |只看作者 |坛友微信交流群
qiustata 发表于 2012-4-21 14:42
我用rm删了一点不用的大数据 还是没变
还是说9.2G向量无法分割
这是为什么?????
通常来说,那些占内存的变量是你的程序在运行中产生的,这跟你删除一些自己的已知变量关系不大。有可能你的程序在执行时会有一些中间变量。

可能可行的处理方式:
(1)改一下程序,查看那些地方执行效率不够高,换用更加高效的方式。有没有online的算法,或者可以并行化的执行方式。程序中有没有产生一些中间变量,是否有更节省空间的方式运行,或者可否利用一些特殊技巧。比如矩阵运算,有没有特殊结构,sparse,low rank,或者特殊分解。这个方法可能会比较难,取决于你对于数值计算的理解,也取决于问题本身是否有改进的空间。
(2)不要用个人电脑,拿到server上面跑.
已有 1 人评分学术水平 热心指数 收起 理由
qoiqpwqr + 1 + 1 热心帮助其他会员

总评分: 学术水平 + 1  热心指数 + 1   查看全部评分

使用道具

地板
qiustata 发表于 2012-4-24 17:19:36 |只看作者 |坛友微信交流群
ltx5151 发表于 2012-4-21 16:05
通常来说,那些占内存的变量是你的程序在运行中产生的,这跟你删除一些自己的已知变量关系不大。有可能你 ...
谢谢 问题已解决,的确是运行中产生的 该变量应该定义为名义,文字类型,却定义错为连续数字

谢谢 我这个就是sever上跑的 普通电脑没有16g德巴

使用道具

7
512661101 发表于 2019-10-14 18:05:36 |只看作者 |坛友微信交流群
谢谢分享!!!

使用道具

8
512661101 发表于 2019-10-14 18:06:43 |只看作者 |坛友微信交流群
谢谢分享!!!

使用道具

9
512661101 发表于 2019-10-14 18:07:19 |只看作者 |坛友微信交流群
谢谢分享!!!

使用道具

10
熬夜头会秃 发表于 2019-10-14 22:20:56 来自手机 |只看作者 |坛友微信交流群
qiustata 发表于 2012-4-20 19:25
是这样的 做一个数据分析 前面还好好的 后来要算aic 然后弄了个glm

结果就出现9G的向量无法分割 网上查了 ...
开一下任务管理器看下,应该是单纯内存不够。可以试试把原公式里面的代码拷贝出来分步运行。。

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-5-21 13:51