//yull.in/tags/logstash.html Recent content in logstash on Yullin Blog 运维 生活 Hugo -- gohugo.io zh-cn Fri, 26 Oct 2018 00:00:00 +0000 //yull.in/2018/10/config-elasticsearch-logstash-kibana.html Fri, 26 Oct 2018 00:00:00 +0000 //yull.in/2018/10/config-elasticsearch-logstash-kibana.html 本文主要记录ELK的测试环境的搭建过程 1.环境以及架构 Jumper 系统版本 IP地址 主机名 角色 d1000 CENTOS 7 10.2.0.10 centosELK10 Kibana d1000 CENTOS 7 10.2.0.11 centosELK11 Logstash d1000 CENTOS 7 10.2.0.12 centosELK12 ElasticSearch 本次的所有环境均是基于CENTOS7系统进行搭建。 首先是准备环境，安装JAVA运行环境JDK。 yum install java-1.8.0-openjdk-devel 2. //yull.in/2018/08/config-elasticsearch-ingest-node.html Mon, 20 Aug 2018 00:00:00 +0000 //yull.in/2018/08/config-elasticsearch-ingest-node.html 在elastic 5.*版本开始支持ingest node功能，他可以在一定程度上替代Logstash的处理功能，只要是熟悉了其支持的格式之后，配置还是比较简单的。 1.测试可以用如下命令 curl -v -H ‘Content-Type: application/json’ -X POST ‘http://10.2.4.34:9200/_ingest/pipeline/_simulate’ -d@filebeat.test.json filebeat.test.json的内容如下： { "pipeline" : { "description" : "nginx access log", "processors": [ { "grok": { "field": "message", "patterns": ["%{IP:client_ip} %{TIMESTAMP_ISO8601:iso_time} %{BASE10NUM:timestamp} %{BASE10NUM:request_time} %{BASE10NUM:request_length} %{INT:connection_id} %{INT:connection_requests} %{PATH:uri} \"%{WORD:request_method} % {NOTSPACE:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response_status} (?