Post tagged: logstash

configure elasticsearch logstash kibana

本文主要记录ELK的测试环境的搭建过程

1.环境以及架构

Jumper 系统版本 IP地址 主机名 角色
d1000 CENTOS 7 10.2.8.30 centosT-AutomELK-8030 Kibana
d1000 CENTOS 7 10.2.8.31 centosT-AutomELK-8031 Logstash
d1000 CENTOS 7 10.2.8.32 centosT-AutomELK-8032 ElasticSearch

本次的所有环境均是基于CENTOS7系统进行搭建。
首先是准备环境,安装JAVA运行环境JDK,需要先上传下载好的JDK,这里我下载的是rpm安装包。 由于安全原因,不能直接上传,只能先上传到d1000.intsig.net的FTP服务器上,然后通过wget命令进行下载。

wget http://10.2 …

configure elasticsearch ingest node

在elastic 5.*版本开始支持ingest node功能,他可以在一定程度上替代Logstash的处理功能,只要是熟悉了其支持的格式之后,配置还是比较简单的。

1.测试可以用如下命令

curl -v -H 'Content-Type: application/json' -X POST 'http://10.2.4.34:9200/_ingest/pipeline/_simulate' -d@filebeat.test.json

filebeat.test.json的内容如下:

{
  "pipeline" : {
    "description" : "nginx access log",
    "processors": [
      {
        "grok": {
          "field": "message",
          "patterns": ["%{IP:client_ip} %{TIMESTAMP_ISO8601:iso_time} %{BASE10NUM:timestamp} %{BASE10NUM …