1.软件:Unbuntu11.10 , jdk1.6以上, Hadoop-0.20.203, eclipseHelilo3.6.2版,
及修改过的hadoop-0.20.203-plugin.jar插件。
2.硬件:3台pc机,主节点尽量配置好点的。
ip如下:192.168.1. 11 namenode (域名用来识别机器,namenode为主节点)
192.168.1.4 datanode1
192.168.1.6 datanode2
二、安装过程简介
1、先在各台机器上安装unbuntu系统。首先整理出一个磁盘,安装双系统,使用wubi安装,比较简单。安装时尽量断开网线,会加快安装速度。安装时各台机器尽量取一致的用户名比如都用 hadoop作为用户名。
2. 安装完配置如下:首先对每台机机器host进行配置:
1)命令行输入命令: sudo gedit /etc/hosts 将上面的ip和对应的域名写入,这样就可以用host名来访问各个节点了。
2)将用户名hadoop加为特权用户:sudo gedit /etc/sudoers
在 root ALL=(ALL:ALL) ALL 加入如下语句:
hadoop ALL=(ALL:ALL) ALL
3.安装ssh
1)自动安装,各个节点机器都要安装: sudo apt-get install openssh-server
安装之前可以使用 which ssh which ssd which ssh-keygen验证是否已经安装过ssh
2)在namenode节点上生成公钥: ssh-keygen -t rsa
3)加入信任列表中:
cat /home/hadoop/is_rsa.pub>>/home/hadoop/.ssh/authorized_keys
4)查看:
[hadoop@hadoop1 ~]$ ls .ssh/
authorized_keys id_rsa id_rsa.pub known_hosts
5)重新载入:sudo /etc/init.d/ssh reload
6)将id_rsa.pub拷贝到各个datanode节点上:
进到各个数据节点使用命令将公钥从namenode节点拷过来:
sudo scp hadoop@namenode /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.shh/
加入到信任列表里:cat /home/hadoop/is_rsa.pub>>/home/hadoop/.ssh/authorized_keys
7)验证:ssh datanode1 ssh datanode2 ssh namenode 查看结果是否是通的。
第一次连接会让确认,之后就不用了。验证成功后 exit退出。之后就可以 。
像用用远程一样的使用各个datanode节点机器了
4、安装配置jdk
1)下载jdk直接解压到/home/hadoop目录下或者放到好记的目录下,修改目录名字为jdk1.6
2)配置环境变量:sudo gedit /etc/profile
3)使环境变量生效 : source /etc/profile
4)验证jdk是否安装配置成功:java -version
5)通过ssh进到各个datanode节点,将jdk目录和配置文件分别拷到各个节点上。 sudo scp hadoop@namenode /home/hadoop/jdk1.6 /home/hadoop/
sudo scp hadoop@namenode /etc/profile /etc/
6)验证各个节点上的jdk环境是否正确。