OpenTSDB+Grafana 监控环境搭建

OpenTSDB+Grafana 监控环境搭建

硬件3台服务器.192.168.1.1;192.168.1.2;192.168.1.3。64位CentOS6.5

 

1. 安装 rzsz

yum install lrzsz

 

2.安装jdk

yum -y list Java*

yum -y install java-1.7.0-openjdk*

 

3.配置JAVA_HOME

vi  /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.7.0
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin 

// 生效

source /etc/profile 

// 测试JAVA_HOME是否生效

echo $JAVA_HOME

 

4.安装zookeeper

zookeeper-3.4.8.tar.gz

上传zookeeper

cd /usr/local/src

rz

tar -zxvf zookeeper-3.4.8.tar.gz 

cd /home

mkdir zookeeper

cd zookeeper

mkdir data

mkdir logs

cp -r /usr/local/src/zookeeper-3.4.8 /home/zookeeper/

cd /home/zookeeper/zookeeper-3.4.8/conf

mv zoo_sample.cfg  zoo.cfg

vi zoo.cfg

#修改数据目录.

dataDir=/home/zookeeper/data

#增加日志目录

dataLogDir=/home/zookeeper/logs 

#增加部署地址

server.1=192.168.1.1:2888:3888

server.2=192.168.1.2:2888:3888

server.3=192.168.1.3:2888:3888

#修改server.1的myid。写入1;server.2则写入2

cd /home/zookeeper/data

vi myid

#其他两台重复以上步骤

#启动

cd /home/zookeeper/zookeeper-3.4.8/bin

./zkServer.sh start

#关闭

./zkServer.sh stop

#测试集群是否都启动成功

./zkCli.sh -server 192.168.1.1:2181

 

5.安装Hadoop

一、配置hosts文件

二、建立hadoop运行帐号(也可直接用root账号)

三、配置ssh免密码连入

四、下载并解压hadoop安装包

五、配置各种配置文件

六、向各节点复制hadoop

七、格式化namenode

八、启动hadoop

九、用jps检验各后台进程是否成功启动

十、通过网站查看集群情况


5.1配置host

(1)编辑/etc/hosts文件

vi /etc/hosts

192.168.1.1 sms-test-001

192.168.1.2 sms-test-002

 

192.168.1.3 sms-test-003

#sms-test-001作为master,sms-test-002,sms-test-003作为slave

(2)编辑/etc/sysconfig/network文件

(3)Hostname设置

hostname sms-test-001

(4)输入hostname验证


5.2建立hadoop

运行账号

//设置hadoop用户组

sudo groupadd hadoop

//添加一个hadoop用户,此用户属于hadoop用户组

sudo useradd -s /bin/bash -d /home/user/hadoop -m hadoop -g hadoop

#设置hadoop权限./home目录的读写执性权限

setfacl -m u:hadoop:rwx /home

//设置用户hadoop登录密码

sudo passwd hadoop

//切换到hadoop用户中 

su hadoop

【注】不一定要新建账号。例如我用root账号登录的,直接用root账号也可以,为了方便下面就直接用root账号操作。

 

5.3配置ssh免密码连接

#单点回环免密码登录

cd /root

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

#验证免密码。welcome则表示成功

ssh localhost

OpenTSDB+Grafana 监控环境搭建

#退出用exit

#master连接slave免密码登录

#sms-test-002服务器

cd /root/.ssh

scp root@sms-test-001:~/.ssh/id_dsa.pub ./master_dsa.pub

cat master_dsa.pub >> authorized_keys

#sms-test-001服务器ssh sms-test-002。第一次需要密码,后面就可以免密码登录

#sms-test-003服务器重复以上操作。

#sms-test-001登录002和003可以免密码登录了,但是002,003登录001还需要手动认证。

#slave连接master免密码登录。重复master连接slave的操作

 

6.安装hadoop

hadoop-2.6.0.tar.gz

#在sms-test-001服务器上传hadoop

cd /usr/local/src

rz

tar -zxvf hadoop-2.6.0.tar.gz

cd /home

mkdir hadoop

cd /home/hadoop

cp -r hadoop-2.6.0 /home/hadoop/

cd hadoop-2.6.0

ll

OpenTSDB+Grafana 监控环境搭建

cd etc/hadoop

ls

OpenTSDB+Grafana 监控环境搭建

#修改hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-size.xml、mapred-site.xml、yarn-size.xml、slaves文件

(1)配置hadoop-env.sh和yarn-env.sh的JAVA_HOME

 

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

(2)配置core-site.xml

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://sms-test-001:9000</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>4096</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/tmp</value>

    </property>

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>sms-test-001:2181,sms-test-002:2181,sms-test-003:2181</value>

    </property>

(3)配置hdf-site.xml

   <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/hdfs_data/name</value>

   </property>

   <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/hdfs_data/data</value>

   </property>

   <property>

        <name>dfs.replication</name>

        <value>2</value>

   </property>

   <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>sms-test-001:50090</value>

   </property>

   <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

   </property>

(4)配置mapred-site.xml

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

   <property>

       <name>mapreduce.jobtracker.http.address</name>

       <value>Master.Hadoop:50030</value>

   </property>

   <property>

       <name>mapreduce.jobhistory.address</name>

       <value>sms-test-001:10020</value>

   </property>

   <property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>sms-test-001:19888</value>

   </property>

(5)配置yarn-site.xml(8088端口如果想通过外网访问,则要配置成外网地址)

  <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

  </property>

  <property>

     <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

     <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

     <name>yarn.resourcemanager.address</name>

     <value>sms-test-001:8032</value>

  </property>

  <property>

     <name>yarn.resourcemanager.scheduler.address</name>

     <value>sms-test-001:8030</value>

  </property>

  <property>

     <name>yarn.resourcemanager.resource-tracker.address</name>

     <value>sms-test-001:8031</value>

  </property>

  <property>

     <name>yarn.resourcemanager.admin.address</name>

     <value>sms-test-001:8033</value>

  </property>

  <property>

     <name>yarn.resourcemanager.webapp.address</name>

     <value>sms-test-001:8088</value>

  </property>

  <property>

     <name>yarn.nodemanager.resource.memory-mb</name>

     <value>768</value>

  </property>

(5)配置slaves文件

vi slaves

#写入

sms-test-002

sms-test-003

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/25c71f1babe8b7b31e9eb8f5ae0459c4.html