系统环境:Centos 7
安装ELASTICSEARCH 按照官方文档(https://opendistro.github.io/for-elasticsearch-docs/)的说明,首先需要安装JDK(使用官方源地址)
cd /etc/yum.repos.d/ curl https://d3g5vo6xdbdb9a.cloudfront.net/yum/opendistroforelasticsearch-artifacts.repo -o opendistroforelasticsearch-artifacts.repo yum install java-11-openjdk-devel #如果需要在本机上安装logstash,则建议安装yum install java-1.8.0-openjdk-devel 因为新版的logstash-6.3.2不支持最新版的jdk-10.0.2,需要降为上一个稳定版jdk-8u181。否则会报错Unrecognized VM option ‘UseParNewGC’参考链接https://github.com/elastic/logstash/issues/9345
如果安装java-1.8.0-openjdk-devel,则需要在安装之后做如下操作,否则后面会起不来elasticsearch ln -s /usr/lib/jvm/java-1.8.0/lib/tools.jar /usr/share/elasticsearch/lib/ 我们目前的方案是logstash在另外一台机器上,所以可以不考虑JDK的问题。
下面开始安装:
yum install opendistroforelasticsearch systemctl start elasticsearch.
本文主要记录ELK的测试环境的搭建过程
1.环境以及架构 Jumper 系统版本 IP地址 主机名 角色 d1000 CENTOS 7 10.2.0.10 centosELK10 Kibana d1000 CENTOS 7 10.2.0.11 centosELK11 Logstash d1000 CENTOS 7 10.2.0.12 centosELK12 ElasticSearch 本次的所有环境均是基于CENTOS7系统进行搭建。
首先是准备环境,安装JAVA运行环境JDK。
yum install java-1.8.0-openjdk-devel 2.
在elastic 5.*版本开始支持ingest node功能,他可以在一定程度上替代Logstash的处理功能,只要是熟悉了其支持的格式之后,配置还是比较简单的。
1.测试可以用如下命令 curl -v -H ‘Content-Type: application/json’ -X POST ‘http://10.2.4.34:9200/_ingest/pipeline/_simulate’ [email protected]
filebeat.test.json的内容如下:
{
"pipeline" : {
"description" : "nginx access log",
"processors": [
{
"grok": {
"field": "message",
"patterns": ["%{IP:client_ip} %{TIMESTAMP_ISO8601:iso_time} %{BASE10NUM:timestamp} %{BASE10NUM:request_time} %{BASE10NUM:request_length} %{INT:connection_id} %{INT:connection_requests} %{PATH:uri} \"%{WORD:request_method} %
{NOTSPACE:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response_status} (?