Zookeeper,zkui,Kafka 部署笔记(2)

1.创建topic    bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 1 --partitions 2 --topic topic-003-name  (IP不能是localhost)()

2.再开一个窗口,分别启动productor和consumer

3.启动productor  

bin/kafka-console-producer.sh --broker-list 192.168.197.142:9092 --topic lilu

4.启动consumer(注意两个命令的区别,IP后面的端口也是不一样的)

bin/kafka-console-consumer.sh --zookeeper 192.168.197.142:2181 --topic lilu

5.在productor端输入,看consumer端的输出

6.备注:在操作过程中jps -l 的时候有时候会发现同时启动了多个zk或者kafka,这个时候把多余的杀死 kill -USR2 3417 (温柔的杀死)kill -9 3417(强制杀死,最好用前一个);如果操作过程没有问题那就是输入的命令有问题,再返回去自己检查看是哪里输错了

五、生成日志

1.脚本准备 修改shelllogger.sh

2.启动nohup sh shelllogger.sh &

我习惯用bash ./shelllogger.sh & (运行这个脚本,生成access.log) 注意:一定不要丢了&符号,如果没有& ,脚本会自动停止,crtl+c 就会杀死这个进程

3.启动后输入 tail -f access.log  (查看是否在动态打印,就是程序是否运行着,如果运行就没什么问题,要是不动态就说明配置有问题)

4.将日志实时传送到kafka指定主题中:

在kafka目录下执行

nohup tail -f /home/storm/access.log | bin/kafka-console-producer.sh --broker-list 192.168.197.142:9092 --topic name >logs/producer.log 2>&1 &

5.总结一下,大多数遇到的问题都是命令输错了,或者是IP地址输错了,或者是java没安好,我还没有遇到java的问题,然后每次到启动producer的时候就会出问题,有的是配置文件没source,还有是ip地址输的是主机名,还有是运行脚本文件的时候少了&,还有是把consumer和producer命令输错了,然后其他的问题遇到了再补充。

ZooKeeper学习总结 

Ubuntu 14.04安装分布式存储Sheepdog+ZooKeeper 

CentOS 6安装sheepdog 虚拟机分布式储存 

ZooKeeper集群配置

使用ZooKeeper实现分布式共享锁

分布式服务框架 ZooKeeper -- 管理分布式环境中的数据

ZooKeeper集群环境搭建实践

ZooKeeper服务器集群环境配置实测

ZooKeeper集群安装

Zookeeper3.4.6的安装

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/77e932f5864280d44fe505049d7275c5.html