CentOS 7.3下ELK日志分析系统搭建(3)

使用logstash的-f参数来读取配置文件,执行如下开始进行测试:

4.启动 /usr/local/logstash-5.3.1/bin/logstash -f /usr/local/logstash-5.3.1/config/logstash-simple.conf Sending Logstash's logs to /usr/local/logstash-5.3.1/logs which is now configured via log4j2.properties [2017-04-25T06:18:43,294][INFO ][logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125} [2017-04-25T06:18:43,939][INFO ][logstash.pipeline ] Pipeline main started The stdin plugin is now waiting for input: [2017-04-25T06:18:44,674][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} hello world! { "@timestamp" => 2017-04-25T12:21:21.526Z, "@version" => "1", "host" => "yyp", "message" => "hello world!" }

如上显示,说明成功了。

4.测试Elasticsearch 和 Logstash 来收集日志数据

接下来我们在 logstash 安装目录下创建一个用于测试 logstash 使用 elasticsearch 作为 logstash 的后端的测试文件 logstash-test.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
前提要保证elasticsearch和logstash都正常启动(需要先启动elasticsearch,再启动logstash)

cat logstash-test.conf input { stdin { } } output { elasticsearch {hosts => "192.168.30.132:9200" } #elasticsearch服务地址 stdout { codec=> rubydebug } }

开启服务,执行如下命令:

/usr/local/logstash-5.3.1/bin/logstash -f /usr/local/logstash-5.3.1/config/logstash-test.conf

我们可以使用 curl 命令发送请求来查看 ES 是否接收到了数据:

curl 'http://192.168.30.132:9200/_search?pretty'

返回结果:

{ "took" : 13, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : ".kibana", "_type" : "config", "_id" : "5.3.1", "_score" : 1.0, "_source" : { "buildNum" : 14844 } } ] } }

至此,你已经成功利用 Elasticsearch 和 Logstash 来收集日志数据了。

四、kibana的安装 1. 解压kibana-5.3.1-linux-x86_64源码包

下载地址:https://artifacts.elastic.co/downloads/kibana/kibana-5.3.1-linux-x86_64.tar.gz

解压至/usr/local/下 tar -zxvf /usr/local/src/kibana-5.3.1-linux-x86_64.tar.gz -C /usr/local/ 2.配置kibana 编辑kibana.yml配置文件 vi /usr/local/kibana-5.3.1-linux-x86_64/config/kibana.yml 修改以下参数: server.port: 5601 #开启默认端口5601 server.host: “192.168.30.132#站点地址 elasticsearch.url: http://192.168.30.132:9200 #指向elasticsearch服务的ip地址 kibana.index: “.kibana” 3.启动 执行以下命令启动: /usr/local/kibana-5.3.1-linux-x86_64/bin/kibana 4.测试浏览器访问

访问::5601
如下图所示,说明成功访问了

CentOS 7.3下ELK日志分析系统搭建

5.配置ES索引

kibana第一次使用时,会要求创建index,只要按照默认值即可。

注意:
首次会提示没有索引。。。。

首先需要加上我们刚刚建立的索引index => "logstash--%{+YYYY-MM}" 点击setting->indices, 在这里我们可以Configure an index pattern, 也就是说可以配置 正则匹配的index,

cat logstash-simple.conf input { stdin{} } output { elasticsearch { action => "index" # 在ES上操作index hosts => "192.168.30.132:9200" # ES地址 index => "logstash-%{+YYYY-MM}" #索引名 } }

可以看到默认的index是"logstash-*", 默认是从logstash导出的数据, 因为我们在logstash中配置的索引就是logstash开头的,所以这里我们保持默认不变.

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/dacba9629baf1f8849a32f1b67b99e65.html