楼主: deephilla
3362 6

[实际应用] 如何运用 parallel 来进行多进程进行计算? [推广有奖]

  • 0关注
  • 0粉丝

大专生

30%

还不是VIP/贵宾

-

威望
0
论坛币
0 个
通用积分
0
学术水平
2 点
热心指数
2 点
信用等级
2 点
经验
488 点
帖子
48
精华
0
在线时间
49 小时
注册时间
2016-10-30
最后登录
2021-8-16

楼主
deephilla 发表于 2016-11-25 19:00:06 |AI写论文
3论坛币
我有1.5w行的数据进行一个 聚类分析,要说数据量不大。但是在单机上运行会出现各种问题,弄得不好就 session abort了。
我的一个可以当服务器的笔记本(3.0Gcpu 4核,16G内存)也出现这个问题。但是这个问题不是每次都出现,好像是开始运行r,可能程序能走下去,过一段时间就不能完全运行了。


转而求助parallel,看几个人的博客也没有搞清楚。对于我这种才转向学习R的,如何配置呢?
另外单位有一个小型的超算平台,上面装的是Linux redhat , 我看了下,好像在上面装个R也不是个简单的事。
请高手支招!

关键词:Parallel Paralle session Linux 聚类分析 多进程 linux 安装

沙发
deephill 发表于 2016-11-28 13:36:25
没有人回答呢

藤椅
deephill 发表于 2016-11-28 13:37:27
难道只能期待 r的新版本了?

板凳
felixzhao123 发表于 2016-11-29 08:07:52
你可以使用caret包,这个包可以使用并行计算
已有 1 人评分论坛币 收起 理由
admin_kefu + 10 热心帮助其他会员

总评分: 论坛币 + 10   查看全部评分

报纸
偏爱丨小汐 发表于 2016-12-1 17:14:18
R运行一段时间之后,占用的内存会越来越大的,所以既然那一开始可以运行的话,那么久重启R再运行
已有 1 人评分论坛币 收起 理由
admin_kefu + 10 热心帮助其他会员

总评分: 论坛币 + 10   查看全部评分

地板
nuomin 发表于 2016-12-1 20:42:35
这个分win平台和linux平台
在win平台下导入foreach包,运行函数
foreach()%dopar% 某个函数
在linux平台下,除了导入foreach包外,还要导入doMC包,之后运行
registerDoMC(min(detectCores(logical=F),40))
foreach()%dopar% 某个函数
就可以了
已有 1 人评分论坛币 热心指数 收起 理由
admin_kefu + 30 + 5 热心帮助其他会员

总评分: 论坛币 + 30  热心指数 + 5   查看全部评分

7
deephilla 发表于 2016-12-29 00:20:00
nuomin 发表于 2016-12-1 20:42
这个分win平台和linux平台
在win平台下导入foreach包,运行函数
foreach()%dopar% 某个函数
能否举个例 。 “运行函数 foreach()%dopar% 某个函数” 后面的% %,不是太懂。
谢谢了!

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2025-12-30 06:28