Hadoop的大数据分析技术与基础理论

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

一、安装准备：
1.下JDK：官网1.6JDK地址http://www.oracle.com/technetwor ... nloads-1902814.html
小生linux下载忒慢，直接在windows挂迅雷下载，下完ftp过去
2. 下载Hadoop安装包
到官网发现现在已经不提供hadoop-0.20.2的下载，经过一番搜索，发现是已经被归档了
归档地址：http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/
同上，linux直接敲命令
wget http://archive.apache.org/dist/h ... adoop-0.20.2.tar.gz
3. 下载虚拟机Vmware(以前装过，这里省略)
4. 下载Linux系统(以前装过，这里省略)
二、系统环境
Thinkpad X200，win7 32位系统，内存6G可用3G
安装计划：通过Vmware虚拟机模拟三台服务器，考虑到内存不大，但只是做实验用，将每台虚拟机的内存设置在512M左右。因为以前安装过一个CentOS的虚拟机，计划把这个环境做好后直接复制两份进行修改，从而得到三台虚拟机。
三、开始安装
1. 安装虚拟机Vmware(以前已安装，略过)
2. 在虚拟机上安装Linux（略）
3. 登录Linux，首先关闭防火墙
4. 安装SSH（之前安装过openSSH，此处仅用文字描述下）
用yum命令进行安装，如下
yum -y install openssh
5. 启动SSH服务
6. 修改系统IP，将IP设为固定IP，方便后边做hosts绑定使用
通过System -> Preferences -> Network Connections打开IP设置窗口
7. 用SecureCRT登录。为了不每次开机关闭防火墙，将防火墙永久关闭
命令：
开启： chkconfig iptables on
关闭： chkconfig iptables off
8 将SSH作为系统服务开机启动
查看SSH状态
/etc/init.d/sshd status
查看ssh是否开机启动
chkconfig --list |grep sshd
设置ssh开机启动
chkconfig sshd on
9.将master和slaver的IP进行绑定
vi /etc/hosts
10. 创建hadoop用户和组
创建hadoop代码目录和数据目录
11. 将之前在windows上用迅雷下载的jdk、hadoop安装包通过ftp上传到服务器
12. 安装JDK并配置环境变量
设置环境变量（提前把未解压的hadoop目录也配置
检查是否配置成功
13. 解压下载的Hadoop包
http://www.ibeifeng.com/tech-69187.html
14. 生成ssh登录密钥先切换到hadoop用户，再在hadoop用户的home目录生成ssh密钥15. 配置hadoop-env.sh环境变量配置JAVA_HOME；并修改HADOOP_HEAPSIZE，默认是2000，虚拟机最大内存512M，我这里改小些16. 修改core-site.xml17. 修改hdfs-site.xml18. 修改mapred-site.xml19. 修改masters和slaves20. 关闭系统，将虚拟机目录复制两份，分别命名为S1、S221. 启动复制的虚拟机，修改IP22. 在虚拟机S1、S2上的hadoop用户下重新生成ssh密钥23. 将ssh密钥相互拷贝24. 检查ssh是否可以相互 启动
NameNode和DataNode没有启动，启动失败了。如果用haddop fs -ls /进行查看时会报如下错误INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).经过百度查询，好心人博客里说需要在core-site.xml中配置“hadoop.tmp.dir”  <property>    <name>hadoop.tmp.dir</name>    <value>/data/var/hadoop</value>    <description>A base for other temporary directories</description>  </property> 28. 重新格式化namenode，再启动hadoop

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：Hadoop 大数据分析 数据分析 基础理论 大数据 Thinkpad 迅雷下载 windows 服务器 虚拟机

mark~~~~~~~~~~~~~~~~