建站
咨詢
售后
建站咨詢
新聞中心
ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產(chǎn)品的首字母縮寫。這三者都是開源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡(jiǎn)稱為 ELK Stack。根據(jù) Google Trend 的信息顯示，ELK Stack 已經(jīng)成為目前最流行的集中式日志解決方案。
成都創(chuàng)新互聯(lián)是工信部頒發(fā)資質(zhì)IDC服務(wù)器商，為用戶提供優(yōu)質(zhì)的資陽(yáng)主機(jī)托管服務(wù)
當(dāng)前環(huán)境
1.系統(tǒng)：centos 7
2.docker 1.12.1
介紹
ElasticSearch
Elasticsearch 是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎，它可以用于全文搜索，結(jié)構(gòu)化搜索以及分析。它是一個(gè)建立在全文搜索引擎 Apache Lucene 基礎(chǔ)上的搜索引擎，使用 Java 語(yǔ)言編寫。
Logstash
Logstash 是一個(gè)具有實(shí)時(shí)渠道能力的數(shù)據(jù)收集引擎，主要用于日志的收集與解析，并將其存入 ElasticSearch中。
Kibana
Kibana 是一款基于 Apache 開源協(xié)議，使用 JavaScript 語(yǔ)言編寫，為 Elasticsearch 提供分析和可視化的 Web 平臺(tái)。它可以在 Elasticsearch 的索引中查找，交互數(shù)據(jù)，并生成各種維度的表圖。
Filebeat
引入Filebeat作為日志搜集器，主要是為了解決Logstash開銷大的問題。相比Logstash，F(xiàn)ilebeat 所占系統(tǒng)的 CPU 和內(nèi)存幾乎可以忽略不計(jì)。
架構(gòu)
不引入Filebeat
引入Filebeat
部署
啟動(dòng)ElasticSearch
docker run -d -p 9200:9200 --name elasticsearch elasticsearch
啟動(dòng)Logstash
# 1. 新建配置文件logstash.conf
input {
beats {
port => 5044
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
#填寫實(shí)際情況elasticsearch的訪問IP，因?yàn)槭强缛萜鏖g的訪問，使用內(nèi)網(wǎng)、公網(wǎng)IP，不要填寫127.0.0.1|localhost
hosts => ["{$ELASTIC_IP}:9200"]
}
}
# 2.啟動(dòng)容器，暴露并映射端口，掛載配置文件
docker run -d --expose 5044 -p 5044:5044 --name logstash -v "$PWD":/config-dir logstash -f /config-dir/logstash.conf
啟動(dòng)Filebeat
下載地址：https://www.elastic.co/downloads/beats/filebeat
# 1.下載Filebeat壓縮包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz
# 2.解壓文件
tar -xvf filebeat-5.2.2-linux-x86_64.tar.gz
# 3.新建配置文件filebeat.yml
filebeat:
prospectors:
- paths:
- /tmp/test.log #日志文件地址
input_type: log #從文件中讀取
tail_files: true #以文件末尾開始讀取數(shù)據(jù)
output:
logstash:
hosts: ["{$LOGSTASH_IP}:5044"] #填寫logstash的訪問IP
# 4.運(yùn)行filebeat
./filebeat-5.2.2-linux-x86_64/filebeat -e -c filebeat.yml
啟動(dòng)Kibana
docker run -d --name kibana -e ELASTICSEARCH_URL=http://{$ELASTIC_IP}:9200 -p 5601:5601 kibana
測(cè)試
模擬日志數(shù)據(jù)
# 1.創(chuàng)建日志文件
touch /tmp/test.log
# 2.向日志文件中寫入一條nginx訪問日志
echo '127.0.0.1 - - [13/Mar/2017:22:57:14 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" "-"' >> /tmp/test.log
訪問 http://{$KIBANA_IP}:5601
總結(jié)
本文主要講述了如何一步步搭建ELK的過程，以及Filebeat在其中所起的作用。
這兒僅僅給大家做了一個(gè)演示，要在生產(chǎn)環(huán)境中部署時(shí)，還需使用數(shù)據(jù)卷進(jìn)行數(shù)據(jù)持久化，容器內(nèi)存問題也需考慮，elasticsearch與logstash都是相對(duì)吃內(nèi)存的，如果不加以限制，很可能會(huì)拖垮你整個(gè)服務(wù)器。
當(dāng)然安全因素也是大家不能忽視的，如傳輸?shù)陌踩?、端口?quán)限的最小化暴露程度，防火墻設(shè)置等。
后續(xù)
logstash解析日志格式，如JAVA、nginx、nodejs等日志；
elasticsearch的常用搜索語(yǔ)法；
通過kibana制作可視化圖表；
當(dāng)前文章：Docker中部署ELK+Filebeat日志中心
本文路徑：http://m.5511xx.com/article/codhcpi.html
