Hadoop2.2.0版本多节点集群及Eclipse开发环境搭建

鉴于部分网友在搭建Hadoop2.2.0过程中遇到各种各样的问题，特记录本人搭建集群环境，以作参考。

环境：

1、虚拟机：VMware® Workstation，版本：10.0.0

2、操作系统：Ubuntu-13.10

3、hadoop版本：hadoop-2.2.0下载地址

4、jdk1.6.0_45

5、本文所用两台机器分工如下：

hostname   user   ip   functions  
master   hadoop   192.168.234.128   NameNode/SecondaryNameNode/ResouceManager  
slave1   hadoop   192.168.234.129   DataNode/NodeManager  

6、登陆工具：SecureCRT Version 6.2.0

7、开发工具：eclipse-kepler

环境配置步骤： 1、安装jdk，并配置环境变量：

vi /etc/profile

加入下列几行（本文java安装路径为：/usr/local/java/）：

export JAVA_HOME=/usr/local/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

保存后输入：source /etc/profile 以使其生效。

验证：输入：java -version

2、安装ssh

sudo apt-get install ssh

设置local无密码登陆

安装完成后会在当前用户主目录，即这里的/home/hadoop下产生一个隐藏文件夹.ssh（ll 或者ls -a 命令可以查看隐藏文件）。如果没有这个文件，自己新建即可，命令为：mkdir .ssh。

具体步骤如下：

2.1、 进入.ssh文件夹

2.2、 ssh-keygen -t rsa 之后一路回 车（产生秘钥）

2.3、 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）

2.4、 重启 SSH 服 务命令使其生效 :service sshd restart（这里RedHat下为sshdUbuntu下为ssh）

此时已经可以进行ssh localhost的无密码登陆

相关阅读：

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）