Hadoop环境安装配置

1.软件:Unbuntu11.10 , jdk1.6以上, Hadoop-0.20.203, eclipseHelilo3.6.2版,

及修改过的hadoop-0.20.203-plugin.jar插件。

2.硬件:3台pc机,主节点尽量配置好点的。

ip如下:192.168.1. 11 namenode  (域名用来识别机器,namenode为主节点)

192.168.1.4  datanode1

192.168.1.6  datanode2

二、安装过程简介

1、先在各台机器上安装unbuntu系统。首先整理出一个磁盘,安装双系统,使用wubi安装,比较简单。安装时尽量断开网线,会加快安装速度。安装时各台机器尽量取一致的用户名比如都用 hadoop作为用户名。

2. 安装完配置如下:首先对每台机机器host进行配置:

1)命令行输入命令: sudo gedit  /etc/hosts    将上面的ip和对应的域名写入,这样就可以用host名来访问各个节点了。

2)将用户名hadoop加为特权用户:sudo gedit /etc/sudoers

在  root    ALL=(ALL:ALL) ALL 加入如下语句:

hadoop  ALL=(ALL:ALL) ALL

3.安装ssh

1)自动安装,各个节点机器都要安装: sudo apt-get install openssh-server

安装之前可以使用 which  ssh  which ssd  which ssh-keygen验证是否已经安装过ssh

2)在namenode节点上生成公钥:  ssh-keygen -t rsa

3)加入信任列表中:

cat /home/hadoop/is_rsa.pub>>/home/hadoop/.ssh/authorized_keys

4)查看:

[hadoop@hadoop1 ~]$ ls .ssh/

authorized_keys  id_rsa  id_rsa.pub  known_hosts

5)重新载入:sudo /etc/init.d/ssh reload

6)将id_rsa.pub拷贝到各个datanode节点上:

进到各个数据节点使用命令将公钥从namenode节点拷过来:

sudo scp hadoop@namenode /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.shh/

加入到信任列表里:cat  /home/hadoop/is_rsa.pub>>/home/hadoop/.ssh/authorized_keys

7)验证:ssh datanode1  ssh datanode2  ssh namenode  查看结果是否是通的。

第一次连接会让确认,之后就不用了。验证成功后 exit退出。之后就可以 。

像用用远程一样的使用各个datanode节点机器了

4、安装配置jdk

1)下载jdk直接解压到/home/hadoop目录下或者放到好记的目录下,修改目录名字为jdk1.6

2)配置环境变量:sudo gedit /etc/profile

3)使环境变量生效 : source /etc/profile

4)验证jdk是否安装配置成功:java -version

5)通过ssh进到各个datanode节点,将jdk目录和配置文件分别拷到各个节点上。  sudo scp hadoop@namenode /home/hadoop/jdk1.6  /home/hadoop/

sudo scp hadoop@namenode /etc/profile /etc/

6)验证各个节点上的jdk环境是否正确。

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/6710dd51b3730c3af07a70a8b5dafc7b.html