CentOS 7下Hadoop2.2伪分布模式安装

这里就不介绍CentOS的安装了,具体看下面的连接,直接进入Hadoop2.2伪分布模式安装。

VMware虚拟机下安装CentOS7.0图文教程 

U盘安装64位CentOS 6.5方法

Win7安装64位CentOS 6.4双系统详细图文教程

UEFI+GPT安装Windows8和CentOS双系统

Windows8.1和CentOS6.5双系统安装

1.安装包下载
1.1.下载JDK1.7
目前JDK的版本是jdk1.8.0_25,这里下载的是jdk1.7.0_67。

下载页面:

1.2.下载Hadoop2.2
目前Hadoop的最新版本是hadoop2.5,这里下载的是Hadoop2.2

下载页面:

2.安装Hadoop2.2
2.1.配置安装环境
2.1.1.创建hadoop用户
使用root账号登陆CentOS,执行一下操作:

# /usr/sbin/groupaddhadoop

创建hadoop用户,隶属于hadoop组

# /usr/sbin/useradd -ghadoophadoop

修改hadoop用户的密码为hadoop:

# passwd hadoop

2.1.2.配置hadoop用户
编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件,设置静态IP地址信息。

#vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.15.136

NETMASK=255.255.255.0

GATEWAY=192.168.15.2

使修改的参数立即生效:

先关闭:

#  /sbin/ifdown eth0

再启动:

# /sbin/ifup eth0

编辑/etc/hostname文件,设置主机名称

# vi /etc/hostname

Master.Hadoop

编辑/etc/hosts文件,设置主机名称与IP映射关系

# vi /etc/hosts

192.168.15.136Master.Hadoop

2.1.3.创建软件目录
创建u01目录,用于安装hadoop软件。

mkdir-p /u01/hadoop

chown -Rhadoop:hadoop /u01/hadoop/

chmod -R775 /u01/hadoop/

hadoop数据存放目录

mkdir-p /data/hadoop

chown-R hadoop:hadoop /data/hadoop

chmod-R 775 /data/hadoop

以上都是使用root账号进行操作,接下以hadoop用户登陆,开始安装hadoop2.2

2.1.4.上传安装包
以hadoop用户登陆CentOS,使用FTP工具将安装包上传到/u01/hadoop/目录。

2.2.安装JDK
由于下载JDK是免安装版,只需解压到指定的目录就完成了安装,将JDK安装到/u01/hadoop/jdk目录下。

# tar-zxvf jdk-7u67-linux-x64.tar.gz

# mv jdk1.7.0_67/ /u01/hadoop/jdk

配置JDK环境变量

vi .bash_bash_profile

export JAVA_HOME=/u01/hadoop/jdk
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
export PATH=$JAVA_HOME/bin:$PATH

(注意:在配置PATH环境变量时,一定要将$JAVA_HOME/bin放置在$PATH前面。这样就不会使用系统默认的JDK)

执行source命令,立即生效JDK环境变量

# source .bash_profile

查看JDK是否安装成功!

# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

出现以上的信息,表明JDK安装成功!

2.3.安装Hadoop2.2
Hadoop有三种运行模式:单机模式、伪分布式与完全分布式。伪分布式是只有一个节点的集群。这里只介绍伪分布式的安装,主要用户学习。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

--------------------------------------分割线 --------------------------------------

2.3.1.配置SSH免密码登陆
Hadoop需要通过SSH来启动Slave节点的守护进程,即使安装伪分布式也需要SSH。我在安装CentOS的时候,就已经安装了SSH。只需要配置免密码登陆就可以了。如果没有安装SSH的话,就先安装SSH后,再进入下面的步骤。

在hadoop用户的home目录执行以下命令:

$ ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

(注解:ssh-keygen表示生成密钥;-t指定密钥类型;-P 提供密语;-f生成的密钥文件)

$ cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ chmod600 ~/.ssh/authorized_keys

验证是否可以免密码登陆

$ sshlocalhost
Last login: Sat Oct 25 07:42:43 2014

出现这样的信息,表示SSH配置成功。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8579bce28ab16fc2b4f24e5d5395bc46.html