Chukwa 0.4.0 详细安装流程(3)

9.配置Demux

对于这个不要配置什么直接运行就好了,选择一个节点,我是在非namenode上运行的如下命令:

$CHUKWA_HOME/bin/start-data-processors.sh

(注意这个时候,Hadoop,collectors,agents已经启动起来了)

开始运行后的直接效果是jps多出3个进程,分别是PostProcessorManager,ChukwaArchiveManager,Demuxmanager

同时通过查看hdfs,可以发现/chukwa/目录下多了好几目录,分别是/chukwa/archivesProcessing, /chukwa/dataSinkArchives, /chukwa/demuxProcessing,随着时间的增加,数据分析进行的深入,会在hdfs上的/chukwa/目录下生成更多的目录,最终目录结构同

10.配置数据库

Chukwa0.4.0是通过将分析好的数据从hdfs上下载到本地mysql数据库中,然后通过hicc命令来进行图形化显示的,而对于chukwa0.5.0是通过hbase而非本地的mysql来处理的,所以对于chukwa0.4.0,我们还得装mysql数据库,我个人认为,安装数据库的时候不需要在所有的节点上安装,这里我选择的是同运行的Demux是同一个节点,我最终的hicc也是单独运行在这个单独的节点上。

(1)从mysql官网上下载mysql

#downloads这个网上可以下载到mysql-5.6.3-m6-linux2.6-x86_64.tar.gz,

(2)将该文件解压到$CHUKWA_HOME/opt/目录下,后面我用$MYSQL_HOME代表mysql所在目录

(3)我给系统添加一个mysql用户,并给予root权限,操作如下:

     useradd mysql

   chmod +w /etc/passwd

   vi /etc/passwd (对该文件mysql用户修个为root组,即,后面的id都改为了0)

   chmod –w /etc/passwd

(4)执行以下命令:

     cd $MYSQL_HOME

          ./scripts/mysql_install_db

     ./bin/mysqld_safe &

./bin/mysqladmin –u root create zlhchukwa

./bin/mysql –u root zlhchukwa<$CHUKWA_HOME/conf/database_cerate_tables.sql

(此时可以进入到数据库当中检查是否在数据库当中建了一个叫做的zlhchukwa的database,并且在该database当中是否产生了一些tables)

(5)配置mysql replication

$MYSQL_HOME/mysql –u root –p

Enter password:

GRANT REPLICATION SLAVE ON *.* TO 'root'@'%' IDENTIFIED BY '';FLUSH PRIVILEGES;

(事实上,我并不知道那个username域和password域该填些什么,所以就先这么填这先)

(6)配置$CHUKWA_HOME/conf/jdbc.conf文件,

<clustername>=jdbc:mysql://localhost:3306/<clustername>?user=root

我的配置内容如下:

zlhchukwa=jdbc:mysql://localhost:3306/zlhchukwa?user=root

11.启动进程将数据从hdfs下载到数据库

在装有数据库的那个非namenode节点上,运行$CHUKWA_HOME/bin/dbAdmin.sh

(注:在chukwa0.4.0当中是没有这个脚本的,我是从chukwa0.3.0的bin目录上面弄过来的)

该进程,似乎是每5分钟显示并操作一次,我们放他在后台运行就好

12.运行hicc进行图形化查看

$CHUKWA_HOME/bin/chukwa hicc

:8080/hicc/

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/psjxy.html