configure opendistro elasticsearch

在 一 10 六月 2019 发布于 TECH SKILLS 分类 • 标签为 elk, elasticsearch, opendistro, kibana • 1 min read

系统环境:Centos 7

安装ELASTICSEARCH

按照官方文档(https://opendistro.github.io/for-elasticsearch-docs/)的说明,首先需要安装JDK(使用官方源地址)

cd /etc/yum.repos.d/  
curl https://d3g5vo6xdbdb9a.cloudfront.net/yum/opendistroforelasticsearch-artifacts.repo -o opendistroforelasticsearch-artifacts.repo  
yum install java-11-openjdk-devel    #如果需要在本机上安装logstash,则建议安装yum install java-1.8.0-openjdk-devel

因为新版的logstash-6.3.2不支持最新版的jdk-10.0.2,需要降为上一个稳定版jdk-8u181。否则会报错Unrecognized VM option 'UseParNewGC'参考链接https://github.com …


阅读全文

configure elasticsearch logstash kibana

在 五 26 十月 2018 发布于 TECH SKILLS 分类 • 标签为 elk, elasticsearch, logstash, kibana, ingest node • 1 min read

本文主要记录ELK的测试环境的搭建过程

1.环境以及架构

Jumper 系统版本 IP地址 主机名 角色
d1000 CENTOS 7 10.2.0.10 centosELK10 Kibana
d1000 CENTOS 7 10.2.0.11 centosELK11 Logstash
d1000 CENTOS 7 10.2.0.12 centosELK12 ElasticSearch

本次的所有环境均是基于CENTOS7系统进行搭建。
首先是准备环境,安装JAVA运行环境JDK。

yum install java-1.8.0-openjdk-devel

2.安装配置Elasticsearch

首先需要下载最新版本:

wget https://artifacts.elastic …

阅读全文

configure elasticsearch ingest node

在 一 20 八月 2018 发布于 TECH SKILLS 分类 • 标签为 elk, elasticsearch, logstash, kibana, ingest node • 1 min read

在elastic 5.*版本开始支持ingest node功能,他可以在一定程度上替代Logstash的处理功能,只要是熟悉了其支持的格式之后,配置还是比较简单的。

1.测试可以用如下命令

curl -v -H 'Content-Type: application/json' -X POST 'http://10.2.4.34:9200/_ingest/pipeline/_simulate' -d@filebeat.test.json

filebeat.test.json的内容如下:

{
  "pipeline" : {
    "description" : "nginx access log",
    "processors": [
      {
        "grok": {
          "field": "message",
          "patterns": ["%{IP:client_ip} %{TIMESTAMP_ISO8601:iso_time} %{BASE10NUM:timestamp} %{BASE10NUM …

阅读全文