日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

ELK是什么

10多年的祿勸網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。成都全網(wǎng)營銷的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整祿勸建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)公司從事“祿勸網(wǎng)站設(shè)計(jì)”,“祿勸網(wǎng)站推廣”以來，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

ELK是elastic公司提供的一套完整的日志收集以及前端展示的解決方案，是三個(gè)產(chǎn)品的首字母縮寫，分別是ElasticSearch、Logstash和Kibana。

其中Logstash負(fù)責(zé)對日志進(jìn)行處理，如日志的過濾、日志的格式化等；ElasticSearch具有強(qiáng)大的文本搜索能力，因此作為日志的存儲容器；而Kibana負(fù)責(zé)前端的展示。

ELK搭建架構(gòu)如下圖：

加入了filebeat用于從不同的客戶端收集日志，然后傳遞到Logstash統(tǒng)一處理。

ELK的搭建

因?yàn)镋LK是三個(gè)產(chǎn)品，可以選擇依次安裝這三個(gè)產(chǎn)品。

這里選擇使用Docker安裝ELk。

Docker安裝ELk也可以選擇分別下載這三個(gè)產(chǎn)品的鏡像并運(yùn)行，但是本次使用直接下載elk的三合一鏡像來安裝。

因此首先要保證已經(jīng)有了Docker的運(yùn)行環(huán)境，Docker運(yùn)行環(huán)境的搭建請查看：https://blog.csdn.net/qq13112...

拉取鏡像

有了Docker環(huán)境之后，在服務(wù)器運(yùn)行命令：

 
 
 
 
  
  
  
  
docker pull sebp/elk 
 
 
 

這個(gè)命令是在從Docker倉庫下載elk三合一的鏡像，總大小為2個(gè)多G，如果發(fā)現(xiàn)下載速度過慢，可以將Docker倉庫源地址替換為國內(nèi)源地址。

下載完成之后，查看鏡像：

 
 
 
 
  
  
  
  
docker images 
 
 
 

Logstash配置

在/usr/config/logstash目錄下新建beats-input.conf，用于日志的輸入：

 
 
 
 
  
  
  
  
input {  
  
  
  
  
  beats {  
  
  
  
  
    port => 5044  
  
  
  
  
  }  
  
  
  
  
} 
 
 
 

新建output.conf，用于日志由Logstash到ElasticSearch的輸出：

 
 
 
 
  
  
  
  
output {  
  
  
  
  
  elasticsearch {  
  
  
  
  
    hosts => ["localhost"]  
  
  
  
  
    manage_template => false  
  
  
  
  
    index => "%{[@metadata][beat]}"  
  
  
  
  
  }  
  
  
  
  
} 
 
 
 

其中的index為輸出到ElasticSearch后的index。

運(yùn)行容器

有了鏡像之后直接啟動即可：

 
 
 
 
  
  
  
  
docker run -d -p 5044:5044 -p 5601:5601 -p 9203:9200 -p 9303:9300 -v /var/data/elk:/var/lib/elasticsearch -v /usr/config/logstash:/etc/logstash/conf.d --name=elk sebp/elk 
 
 
 

-d的意思是后臺運(yùn)行容器；

-p的意思是宿主機(jī)端口:容器端口，即將容器中使用的端口映射到宿主機(jī)上的某個(gè)端口，ElasticSearch的默認(rèn)端口是9200和9300，由于我的機(jī)器上已經(jīng)運(yùn)行了3臺ElasticSearch實(shí)例，因此此處將映射端口進(jìn)行了修改；

-v的意思是宿主機(jī)的文件|文件夾:容器的文件|文件夾，此處將容器中elasticsearch 的數(shù)據(jù)掛載到宿主機(jī)的/var/data/elk上，以防容器重啟后數(shù)據(jù)的丟失；并且將logstash的配置文件掛載到宿主機(jī)的/usr/config/logstash目錄。

--name的意思是給容器命名，命名是為了之后操作容器更加方便。

如果你之前搭建過ElasticSearch的話，會發(fā)現(xiàn)搭建的過程中有各種錯(cuò)誤，但是使用docker搭建elk的過程中并沒有出現(xiàn)那些錯(cuò)誤。

運(yùn)行后查看容器：

 
 
 
 
  
  
  
  
docker ps 
 
 
 

查看容器日志：

 
 
 
 
  
  
  
  
docker logs -f elk 
 
 
 

進(jìn)入容器：

 
 
 
 
  
  
  
  
docker exec -it elk /bin/bash 
 
 
 

修改配置后重啟容器：

 
 
 
 
  
  
  
  
docker restart elk 
 
 
 

查看kinaba

瀏覽器輸入http://my_host:5601/

即可看到kinaba界面。此時(shí)ElasticSearch中還沒有數(shù)據(jù)，需要安裝Filebeat采集數(shù)據(jù)到elk中。

Filebeat搭建

Filebeat用于采集數(shù)據(jù)并上報(bào)到Logstash或者ElasticSearch，在需要采集日志的服務(wù)器上下載Filebeat并解壓即可使用

 
 
 
 
  
  
  
  
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.1-linux-x86_64.tar.gz  
  
  
  
  
tar -zxvf filebeat-6.2.1-linux-x86_64.tar.gz 
 
 
 

修改配置文件

進(jìn)入filebeat，修改filebeat.yml。

 
 
 
 
  
  
  
  
filebeat.prospectors:  
  
  
  
  
- type: log  
  
  
  
  
  #需要設(shè)置為true配置才能生效  
  
  
  
  
  enabled: true  
  
  
  
  
  path:  
  
  
  
  
    #配置需要采集的日志路徑  
  
  
  
  
    - /var/log/*.log  
  
  
  
  
  #可以打一個(gè)tag以后分類使用  
  
  
  
  
  tag: ["my_tag"]  
  
  
  
  
  #對應(yīng)ElasticSearch的type  
  
  
  
  
  document_type: my_type  
  
  
  
  
setup.kibana:  
  
  
  
  
  #此處為kibana的ip及端口，即kibana:5601  
  
  
  
  
  host: ""  
  
  
  
  
output.logstash:  
  
  
  
  
  #此處為logstash的ip及端口，即logstash:5044  
  
  
  
  
  host: [""]  
  
  
  
  
  #需要設(shè)置為true，否則不生效  
  
  
  
  
  enabled: true  
  
  
  
  
#如果想直接從Filebeat采集數(shù)據(jù)到ElasticSearch，則可以配置output.elasticsearch的相關(guān)配置 
 
 
 

運(yùn)行Filebeat

運(yùn)行：

 
 
 
 
  
  
  
  
./filebeat -e -c filebeat.yml -d "publish" 
 
 
 

此時(shí)可以看到Filebeat會將配置的path下的log發(fā)送到Logstash；然后在elk中，Logstash處理完數(shù)據(jù)之后就會發(fā)送到ElasticSearch。但我們想做的是通過elk進(jìn)行數(shù)據(jù)分析，因此導(dǎo)入到ElasticSearch的數(shù)據(jù)必須是JSON格式的。

這是之前我的單條日志的格式：

 
 
 
 
  
  
  
  
2019-10-22 10:44:03.441 INFO rmjk.interceptors.IPInterceptor Line:248 - {"clientType":"1","deCode":"0fbd93a286533d071","eaType":2,"eaid":191970823383420928,"ip":"xx.xx.xx.xx","model":"HONOR STF-AL10","osType":"9","path":"/applicationEnter","result":5,"session":"ef0a5c4bca424194b29e2ff31632ee5c","timestamp":1571712242326,"uid":"130605789659402240","v":"2.2.4"} 
 
 
 

導(dǎo)入之后不好分析，之后又想到使用Logstash的filter中的grok來處理日志使之變成JSON格式之后再導(dǎo)入到ElasticSearch中，但是由于我的日志中的參數(shù)是不固定的，發(fā)現(xiàn)難度太大了，于是轉(zhuǎn)而使用Logback，將日志直接格式化成JSON之后，再由Filebeat發(fā)送。

Logback配置

我的項(xiàng)目是Spring Boot，在項(xiàng)目中加入依賴：

 
 
 
 
  
  
  
  
  
  
  
  
  
  net.logstash.logback  
  
  
  
  
  logstash-logback-encoder  
  
  
  
  
  5.2  
  
  
  
  
 
 
 
 

然后在項(xiàng)目中的resource目錄下加入logback.xml：

 
 
 
 
  
  
  
  
  
  
  
  
  
  
  
  
  
  
      
  
  
  
  
    service  
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
        ${LOG_PATH}/${APPDIR}/log_error.log  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
              
  
  
  
  
            ${LOG_PATH}/${APPDIR}/error/log-error-%d{yyyy-MM-dd}.%i.log  
  
  
  
  
              
  
  
  
  
              
  
  
  
  
                2MB  
  
  
  
  
              
  
  
  
  
          
  
  
  
  
          
  
  
  
  
        true  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n  
  
  
  
  
            utf-8  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            error  
  
  
  
  
            ACCEPT  
  
  
  
  
            DENY  
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
        ${LOG_PATH}/${APPDIR}/log_warn.log  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
              
  
  
  
  
            ${LOG_PATH}/${APPDIR}/warn/log-warn-%d{yyyy-MM-dd}.%i.log  
  
  
  
  
              
  
  
  
  
              
  
  
  
  
                2MB  
  
  
  
  
              
  
  
  
  
          
  
  
  
  
          
  
  
  
  
        true  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n  
  
  
  
  
            utf-8  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            warn  
  
  
  
  
            ACCEPT  
  
  
  
  
            DENY  
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
         
  
  
  
  
         ${LOG_PATH}/${APPDIR}/log_info.log  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
              
  
  
  
  
            ${LOG_PATH}/${APPDIR}/info/log-info-%d{yyyy-MM-dd}.%i.log  
  
  
  
  
              
  
  
  
  
              
  
  
  
  
                2MB  
  
  
  
  
              
  
  
  
  
          
  
  
  
  
          
  
  
  
  
        true  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n  
  
  
  
  
            utf-8  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            info  
  
  
  
  
            ACCEPT  
  
  
  
  
            DENY  
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
        ${LOG_PATH}/${APPDIR}/log_IPInterceptor.log  
  
  
  
  
          
  
  
  
  
            ${LOG_PATH}/${APPDIR}/log_IPInterceptor.%d{yyyy-MM-dd}.log  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
              
  
  
  
  
                  
  
  
  
  
                    10  
  
  
  
  
                    \u2028  
  
  
  
  
                  
  
  
  
  
              
  
  
  
  
              
  
  
  
  
                  
  
  
  
  
                      
  
  
  
  
                        {  
  
  
  
  
                        "timestamp":"%date{ISO8601}",  
  
  
  
  
                        "uid":"%mdc{uid}",  
  
  
  
  
                        "requestIp":"%mdc{ip}",  
  
  
  
  
                        "id":"%mdc{id}",  
  
  
  
  
                        "clientType":"%mdc{clientType}",  
  
  
  
  
                        "v":"%mdc{v}",  
  
  
  
  
                        "deCode":"%mdc{deCode}",  
  
  
  
  
                        "dataId":"%mdc{dataId}",  
  
  
  
  
                        "dataType":"%mdc{dataType}",  
  
  
  
  
                        "vid":"%mdc{vid}",  
  
  
  
  
                        "did":"%mdc{did}",  
  
  
  
  
                        "cid":"%mdc{cid}",  
  
  
  
  
                        "tagId":"%mdc{tagId}"  
  
  
  
  
                        }  
  
  
  
  
                      
  
  
  
  
                  
  
  
  
  
              
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>  
  
  
  
  
      
  
  
  
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>  
  
  
  
  
      
  
  
  
  
      
  
  
  
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/> 
  
  
  
  
       
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            ${CONSOLE_LOG_PATTERN}  
  
  
  
  
            utf-8  
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
            debug  
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
      
  
  
  
  
      
  
  
  
  
      
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
          
  
  
  
  
      
  
  
  
  
 
 
 
 

其中的關(guān)鍵為：

在需要打印的文件中引入slf4j：

 
 
 
 
  
  
  
  
private static final Logger LOG = LoggerFactory.getLogger("IPInterceptor"); 
 
 
 

MDC中放入需要打印的信息：

 
 
 
 
  
  
  
  
MDC.put("ip", ipAddress); 
  
  
  
  
 MDC.put("path", servletPath);  
  
  
  
  
MDC.put("uid", paramMap.get("uid") == null ? "" : paramMap.get("uid").toString()); 
 
 
 

此時(shí)如果使用了LOG.info("msg")的話，打印的內(nèi)容會輸入到日志的message中，日志格式如下：

修改Logstash配置

修改/usr/config/logstash目錄下的beats-input.conf：

 
 
 
 
  
  
  
  
input {  
  
  
  
  
  beats {  
  
  
  
  
    port => 5044  
  
  
  
  
    codec => "json"  
  
  
  
  
  }  
  
  
  
  
} 
 
 
 

只加了一句codec => "json"，但是Logstash會按照J(rèn)SON格式來解析輸入的內(nèi)容。

因?yàn)樾薷牧伺渲?，重啟elk：

 
 
 
 
  
  
  
  
docker restart elk 
 
 
 

這樣，當(dāng)我們的日志生成完畢之后，使用Filebeat導(dǎo)入到elk中，就可以通過Kibana來進(jìn)行日志分析了。

本文標(biāo)題：Docker安裝ELK并實(shí)現(xiàn)JSON格式日志分析
分享路徑：http://m.5511xx.com/article/dhgijpi.html