ELK日志分析单机系统详解

日志分析ELK平台，由ElasticSearch、Logstash和Kiabana三个开源工具组成。
官方网站： https://www.elastic.co/products
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

ELK原理图：

如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

ELK平台搭建
系统环境
System: Centos release 6.7(Final)
ElasticSearch: elasticsearch-5.4.0.tar.gz
Logstash: logstash-5.4.0.tar.gz
Kibana: kibana-5.4.0-linux-x86_64.tar.gz
Java: openjdk version ”1.8.0_131″

ELK官网下载： https://www.elastic.co/downloads/

JAVA环境配置
下载最新版本1.8.0_131
wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
tar -zxvf jdk-8u131-linux-x64.gz -C /usr/local/ && rm -rf jdk-8u131-linux-x64.gz
cat >> /etc/profile <> /etc/security/limits.conf <>/etc/sysctl.conf
sysctl -p

配置ElasticSearch
useradd elk && echo elk | passwd --stdin elk
su - elk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.0.tar.gz
tar -zxvf elasticsearch-5.4.0.tar.gz && rm -rf elasticsearch-5.4.0.tar.gz
mv -v elasticsearch-5.4.0 elasticsearch
mkdir -p /home/elk/elasticsearch/{data,logs}
cat >> elasticsearch/config/elasticsearch.yml <> logstash/config/logstash.conf < "/tmp/test.log"
}
log4j {
mode => "server"
host => "192.168.1.60"
port => 4567
}
}
filter {

}
output {
stdout { codec => rubydebug }
elasticsearch {
index => "test_%{+YYYY.MM.dd}"
hosts => [ "192.168.1.60:9200" ]
user => elk
password => elk
}
}
EOF
注释：
/tmp/test.log #测试文件
test_%{+YYYY.MM.dd} #索引信息

touch /tmp/test.log

#启动服务
logstash/bin/logstash -f logstash/config/test_es.conf &

#查看服务进程
ps -elf | grep -v grep | grep logstash

配置Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-linux-x86_64.tar.gz
tar -zxvf kibana-5.4.0-linux-x86_64.tar.gz && rm -rf kibana-5.4.0-linux-x86_64.tar.gz
mv -v kibana-5.4.0-linux-x86_64 kibana
cat >> kibana/config/kibana.yml <> elasticsearch/config/elasticsearch.yml <> /etc/security/limits.conf <>/etc/sysctl.conf
sysctl -p
然后，重新启动elasticsearch，即可启动成功。