开始跑后20秒内，其中一台SLAVE会SSH断线，DataNode与TaskTracker挂掉

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

最近在跑资料的时候遇到了一些问题

在这边先付上软体资讯
https://github.com/jgurtowski/jnomics/wiki/Align-reads-with-bowtie2

我的Hadoop是0.20.203板的
用ESXI模拟出一台MASTER两台SLAVE
记忆体三台都为16G，实体主机记忆体为128G

我遇到的问题是跑Hadoop遇到大多有四种状况
1.卡在map0% reduce0%，网页也没有job
2.卡在map100% reduce100%，没反应，网页有Jobs，但也是100%没反应。
3.卡在map100% reduce100%，网页有Jobs，最后进入Failed Jobs。
4.Failed Jobs一次，之后成功，然后大概可以跑2个档案之后又挂掉进入2或3的状态。

现在测试到这边，发现的问题如下：
只要开始跑map0% reduce0%的时候，其中一台SLAVE的SSH会自动断掉
然后再次上去Jps会发现DataNode与TaskTracker都已经挂掉
最后可能都卡在上述123，三种状况
当23结束后，再跑一次就有机率可以达到4的状况

对于Hadoop还不是太熟悉，研究中，只是一直不能解决这些问题，想请各位帮帮忙。
如果需要任何资料我都可以提供，拜托各位了

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：tracker Slave track Lave Task 记忆体 三台 网页 主机 资料

看日志