通过Cloudera Manager来安装Hadoop

通过Cloudera Manager来安装Hadoop

本人笨,装的过程碰了不少东西,其他网站转载的文章也没具体写清楚,以下我实战了下总结下来。

1. ssh登陆要安装管理界面的机器,确定关闭防火墙和selinux,然后安装cloudera-manager-installer.bin

2. 修改host,并复制到所有节点

vim /etc/hosts

##内容————————————————

172.16.1.1x node1

172.16.1.2x node2

172.16.1.3x node3

127.0.0.1 localhost # 这是必须指定为localhost,且必须为第一个127.0.0.1的域

3. 打开管理界面 {{host}}:7180/

1)用来安装hadoop组件的帐号必须有ssh 且 root 权限

2)像我们的服务器都使用了key登陆,所以在安装时,必须为选用的帐号设置sudo权限且不需输入密码,以下操作是每一台节点机器必须进行

a. 用root操作,修改文件可写权限: chmod +w /etc/sudoers

b. vim /etc/sudoers 添加如: nic ALL=(ALL) NOPASSWD: ALL

c. 去除可写权限,chmod -w /etc/sudoers

3)给你安装hadoop的账户赋予这些文件的读权限和执行权限

chmod +r /bin/mktemp

chmod +x /bin/mktemp

chmod +r /usr/bin/tee

chmod +x /usr/bin/tee

chmod +r /usr/bin/tr

chmod +x /usr/bin/tr

4)随便进去一个目录wget下载各种hadoop组件安装包 (cloudera-manager所在机器如果不需要安装任何hadoop组件,则不需要下载和安装)

wgetRedHat/5/x86_64/cm/4.1.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm

wget

wget

wget+359-1.cdh4.1.2.p0.34.el5.noarch.rpm

wget+359-1.cdh4.1.2.p0.43.el5.x86_64.rpm

wget+359-1.cdh4.1.2.p0.38.el5.noarch.rpm

wget+122-1.cdh4.1.2.p0.7.el5.noarch.rpm

wget+126-1.cdh4.1.2.p0.10.el5.noarch.rpm-O oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm

### 注意这只是其中一部分,并且各个版本可能不一样,所需的文件可以从以上路径下找,或者用cloudera-manager来自动安装,把整个过程复制下来,慢慢找它自动下载的*.rpm包的路径 ###

### 既然有自动下载和安装功能,为什么还手动下载呢? 因为cloudera-manager安装过程只要一发生失败(安装过程有权限问题、或者下载超时等问题.),一切行为都将回滚,包括下载和安装的文件,

即如果依赖cloudera-manager每次安装都必须重新下载、重新安装。再说,有的rpm包很大,咱们服务器不像国外服务器,咱国内服务器下载这下资源包过程很慢而且还有很大可能下载不了,也就是说很容易出现辛辛苦苦装半天,一下回到解放前。

要一劳永逸,在本地迅雷下好了,再scp上去平均速度也有90kb/s,比服务器下载要快(亲测,不同网络环境可能有不一样), 下载后再从一个节点scp到各个节点 ###

### 要用到的安装包名有如下列表,请各自寻找下载 ###

###

hadoop-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-hdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-httpfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-yarn-2.0.0.1.cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-mapreduce-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-0.20-mapreduce-0.20.21.cdh4.1.2.p0.24.el5.x86_64.rpm

hadoop-libhdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-client-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

hadoop-hdfs-fuse-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm

zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm

hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm

hive-0.9.0-cdh4.1.2.p0.21.el5.noarch.rpm

oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm

oozie-client-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm

pig-0.10.01.cdh4.1.2.p0.24.el5.noarch.rpm

hue-common-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-about-2.1.-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-help-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-filebrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-jobbrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-jobsub-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-beeswax-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-plugins-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-proxy-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-shell-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

hue-useradmin-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm

sqoop-1.4.11.cdh4.1.2.p0.21.el5.noarch.rpm

###

5)执行安装

yum install cyrus-sasl-gssapi

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/6b6c255f22a2d6e837fbdf069a244eda.html