楼主: 浪子彦青
1722 0

[Hadoop] Hadoop集群常见错误分析解决 [推广有奖]

院士

39%

还不是VIP/贵宾

-

威望
1
论坛币
3261 个
通用积分
130.6212
学术水平
84 点
热心指数
96 点
信用等级
73 点
经验
27315 点
帖子
1718
精华
0
在线时间
421 小时
注册时间
2016-6-4
最后登录
2021-2-1

楼主
浪子彦青 在职认证  发表于 2016-11-30 18:51:33 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

(一)启动hadoop集群时易出现的错误:

1.错误现象:java.net.NoRouteToHostException: No route to host.    原因:master服务器上的防火墙没有关闭。    解决方法:在master上关闭防火墙: chkconfig iptables off.

2.错误现象:org.apache.hadoop.ipc.RPC: Server at JMN/10.22.1.203:9000 not available yet.    原因:/etc/hosts中的文件被自动篡改。   解决方法:将/etc/hosts文件按配置文件要求改回来。

3.错误现象:Too many fetch-failures.    原因:结点间的连通不够全面。    解决方法:    1)检查/etc/hosts要求本机ip对应服务器名,并且包含所有的服务器ip和服务器名。    2)检查.ssh/authorized_keys要求包含所有服务器(包括其自身)的public key。

(二)在hadoop集群的master中用命令运行例子易出现的故障:

1.错误现象:java.lang.OutOfMemoryError: Java heap space.    原因:JVM内存不够。    解决方法:修改mapred-site.xml中mapred.child.java.opts属性的值,其默认值是-Xmx200m可根据需要适当增大 该值。

2.错误现象:could only be replicated to 0 nodes, instead of 1    解决方法:在NameNode上执行命令:hadoop namenode –format重新格式化HDFS,在格式化之前,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径DataNode存放块数据的本地文件系统路径的目录也删除。

3.错误现象:namenode in safe mode.    原因:hadoop进入安全模式。    解决方法:在shell中执行命令hadoop dfsadmin -safemode leave使hadoop离开安全模式。

(三)在windows下Eclipse中运行例子易出现的错误:

1.错误现象:org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE, inode=”job_201111031322_0003″:heipark:supergroup:rwx-.    原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。    解决办法:    i、如果是测试环境,可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。    ii、修改hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可。

2.错误现象:IOException: Cannot run program “chmod”: CreateProcess error=2.    原因:没有安装cygwin或没有配置环境变量。    解决办法:安装并配置环境变量bin到path下重启eclipse问题即可。

3.错误现象:WARN mapred.LocalJobRunner: job_local_0001    java.lang.OutOfMemoryError: Java heap space    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.    ………..    原因:客户端程序运行时java虚拟机内存分配不够    解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Hadoop 常见错误 Had permission replicated Hadoop集群常见错误分析解决 hadoop hadoop集群master hadoop集群Eclipse

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2026-1-17 14:29