日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
詳解容器部署ELK7.10，適用于生產(chǎn)

 一、elk架構(gòu)簡介

成都創(chuàng)新互聯(lián)公司制作網(wǎng)站網(wǎng)頁找三站合一網(wǎng)站制作公司,專注于網(wǎng)頁設(shè)計,網(wǎng)站制作、成都網(wǎng)站建設(shè),網(wǎng)站設(shè)計,企業(yè)網(wǎng)站搭建,網(wǎng)站開發(fā),建網(wǎng)站業(yè)務(wù),680元做網(wǎng)站,已為上1000+服務(wù),成都創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)將一如既往的為我們的客戶提供最優(yōu)質(zhì)的網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷推廣服務(wù)!

  • 首先 logstash 具有日志采集、過濾、篩選等功能，功能完善但同時體量也會比較大，消耗系統(tǒng)資源自然也多。filebeat作為一個輕量級日志采集工具，雖然沒有過濾篩選功能，但是僅僅部署在應(yīng)用服務(wù)器作為我們采集日志的工具可以是說最好的選擇。但我們有些時候可能又需要logstash的過濾篩選功能，所以我們在采集日志時用filebeat，然后交給logstash過濾篩選。
  • 其次，logstash的吞吐量是有限的，一旦短時間內(nèi)filebeat傳過來的日志過多會產(chǎn)生堆積和堵塞，對日志的采集也會受到影響，所以在filebeat與logstash中間又加了一層kafka消息隊列來緩存或者說解耦，當(dāng)然redis也是可以的。這樣當(dāng)眾多filebeat節(jié)點采集大量日志直接放到kafka中，logstash慢慢的進行消費，兩邊互不干擾。
  • 至于zookeeper，分布式服務(wù)管理神器，監(jiān)控管理kafka的節(jié)點注冊，topic管理等，同時彌補了kafka集群節(jié)點對外界無法感知的問題，kafka實際已經(jīng)自帶了zookeeper，這里將會使用獨立的zookeeper進行管理，方便后期zookeeper集群的擴展。

二、環(huán)境

  • 阿里云ECS：5臺部署ES節(jié)點，3臺分別部署logstash、kafka、zookeeper和kibana等服務(wù)。
  • 阿里云ECS配置：5臺 4核16G SSD磁盤。3臺 4核16G SSD磁盤。都是 Centos7.8系統(tǒng)
  • 安裝 docker 和 docker-compose
  • ELK版本7.10.1;zookeeper版本3.6.2;kafka版本2.13-2.6.0;

三、系統(tǒng)參數(shù)優(yōu)化

 
 
 
 
    
  
  
  
  
  1. # 最大用戶打開進程數(shù) 
    2. 
  
  
  
  
  2. $ vim /etc/security/limits.d/20-nproc.conf 
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. *           soft   nproc       65535 
    5. 
  
  
  
  
  5. *           hard   nproc       65535 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. # 優(yōu)化內(nèi)核，用于 docker 支持 
    8. 
  
  
  
  
  8. $ modprobe br_netfilter 
    9. 
  
  
  
  
  9. $ cat <  /etc/sysctl.d/k8s.conf 
    10. 
  
  
  
  
  10. net.bridge.bridge-nf-call-ip6tables = 1 
    11. 
  
  
  
  
  11. net.bridge.bridge-nf-call-iptables = 1 
    12. 
  
  
  
  
  12. net.ipv4.ip_forward = 1 
    13. 
  
  
  
  
  13. EOF 
    14. 
  
  
  
  
  14. $ sysctl -p /etc/sysctl.d/k8s.conf 
    15. 
  
  
  
  
  15.  
    16. 
  
  
  
  
  16. # 優(yōu)化內(nèi)核，對 es 支持 
    17. 
  
  
  
  
  17. $ echo 'vm.max_map_count=262144' >> /etc/sysctl.conf 
    18. 
  
  
  
  
  18.  
    19. 
  
  
  
  
  19. # 生效配置 
    20. 
  
  
  
  
  20. $ sysctl -p 
    21.

四、部署 docker 和 docker-compose

部署 docker

 
 
 
 
    
  
  
  
  
  1. # 安裝必要的一些系統(tǒng)工具 
    2. 
  
  
  
  
  2. $ yum install -y yum-utils device-mapper-persistent-data lvm2 
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. # 添加軟件源信息 
    5. 
  
  
  
  
  5. $ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. # 更新并安裝 Docker-CE 
    8. 
  
  
  
  
  8. $ yum makecache fast 
    9. 
  
  
  
  
  9. $ yum -y install docker-ce 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. # 配置docker 
    12. 
  
  
  
  
  12. $ systemctl enable docker 
    13. 
  
  
  
  
  13. $ systemctl start docker 
    14. 
  
  
  
  
  14. $ vim /etc/docker/daemon.json 
    15. 
  
  
  
  
  15. {"data-root": "/var/lib/docker", "bip": "10.50.0.1/16", "default-address-pools": [{"base": "10.51.0.1/16", "size": 24}], "registry-mirrors": ["https://4xr1qpsp.mirror.aliyuncs.com"], "log-opts": {"max-size":"500m", "max-file":"3"}} 
    16. 
  
  
  
  
  16. $ sed  -i '/ExecStart=/i ExecStartPost=\/sbin\/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service 
    17. 
  
  
  
  
  17. $ systemctl enable docker.service 
    18. 
  
  
  
  
  18. $ systemctl daemon-reload 
    19. 
  
  
  
  
  19. $ systemctl restart docker 
    20.

部署 docker-compose

 
 
 
 
    
  
  
  
  
  1. # 安裝 docker-compose 
    2. 
  
  
  
  
  2. $ sudo curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 
    3. 
  
  
  
  
  3. $ chmod +x /usr/local/bin/docker-compose 
    4.

五、部署 ES

es-master1 操作

 
 
 
 
    
  
  
  
  
  1. # 創(chuàng)建 es 目錄 
    2. 
  
  
  
  
  2. $ mkdir /data/ELKStack 
    3. 
  
  
  
  
  3. $ mkdir elasticsearch elasticsearch-data elasticsearch-plugins 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. # 容器es用戶 uid 和 gid 都是 1000 
    6. 
  
  
  
  
  6. $ chown 1000.1000 elasticsearch-data elasticsearch-plugins 
    7. 
  
  
  
  
  7.  
    8. 
  
  
  
  
  8. # 臨時啟動一個es 
    9. 
  
  
  
  
  9. $ docker run --name es-test -it --rm docker.elastic.co/elasticsearch/elasticsearch:7.10.1 bash 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. # 生成證書，證書有效期10年，證書輸入的密碼這里為空 
    12. 
  
  
  
  
  12. $ bin/elasticsearch-certutil ca --days 3660 
    13. 
  
  
  
  
  13. $ bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --days 3660 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15. # 打開新的窗口，拷貝生成的證書 
    16. 
  
  
  
  
  16. $ cd /data/ELKStack/elasticsearch 
    17. 
  
  
  
  
  17. $ mkdir es-p12 
    18. 
  
  
  
  
  18. $ docker cp es-test:/usr/share/elasticsearch/elastic-certificates.p12 ./es-p12 
    19. 
  
  
  
  
  19. $ docker cp es-test:/usr/share/elasticsearch/elastic-stack-ca.p12 ./es-p12 
    20. 
  
  
  
  
  20. $ chown -R 1000.1000 ./es-p12 
    21. 
  
  
  
  
  21.  
    22. 
  
  
  
  
  22. # 創(chuàng)建 docker-compose.yml 
    23. 
  
  
  
  
  23. $ vim docker-compose.yml 
    24. 
  
  
  
  
  24.  
    25. 
  
  
  
  
  25. version: '2.2' 
    26. 
  
  
  
  
  26. services: 
    27. 
  
  
  
  
  27.   elasticsearch: 
    28. 
  
  
  
  
  28.     image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 
    29. 
  
  
  
  
  29.     container_name: es01 
    30. 
  
  
  
  
  30.     environment: 
    31. 
  
  
  
  
  31.       - cluster.name=es-docker-cluster 
    32. 
  
  
  
  
  32.       - cluster.initial_master_nodes=es01,es02,es03 
    33. 
  
  
  
  
  33.       - bootstrap.memory_lock=true 
    34. 
  
  
  
  
  34.       - "ES_JAVA_OPTS=-Xms10000m -Xmx10000m" 
    35. 
  
  
  
  
  35.     ulimits: 
    36. 
  
  
  
  
  36.       memlock: 
    37. 
  
  
  
  
  37.         soft: -1 
    38. 
  
  
  
  
  38.         hard: -1 
    39. 
  
  
  
  
  39.       nofile: 
    40. 
  
  
  
  
  40.         soft: 65536 
    41. 
  
  
  
  
  41.         hard: 65536 
    42. 
  
  
  
  
  42.     mem_limit: 13000m 
    43. 
  
  
  
  
  43.     cap_add: 
    44. 
  
  
  
  
  44.       - IPC_LOCK 
    45. 
  
  
  
  
  45.     restart: always 
    46. 
  
  
  
  
  46.     # 設(shè)置 docker host 網(wǎng)絡(luò)模式 
    47. 
  
  
  
  
  47.     network_mode: "host" 
    48. 
  
  
  
  
  48.     volumes: 
    49. 
  
  
  
  
  49.        - /data/ELKStack/elasticsearch-data:/usr/share/elasticsearch/data 
    50. 
  
  
  
  
  50.        - /data/ELKStack/elasticsearch-plugins:/usr/share/elasticsearch/plugins 
    51. 
  
  
  
  
  51.        - /data/ELKStack/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
    52. 
  
  
  
  
  52.        - /data/ELKStack/elasticsearch/es-p12:/usr/share/elasticsearch/config/es-p12 
    53. 
  
  
  
  
  53.  
    54. 
  
  
  
  
  54. # 創(chuàng)建 elasticsearch.yml 配置文件 
    55. 
  
  
  
  
  55. $ vim elasticsearch.yml 
    56. 
  
  
  
  
  56.  
    57. 
  
  
  
  
  57. cluster.name: "es-docker-cluster" 
    58. 
  
  
  
  
  58. node.name: "es01" 
    59. 
  
  
  
  
  59. network.host: 0.0.0.0 
    60. 
  
  
  
  
  60.  
    61. 
  
  
  
  
  61. node.master: true 
    62. 
  
  
  
  
  62. node.data: true 
    63. 
  
  
  
  
  63.  
    64. 
  
  
  
  
  64. discovery.zen.minimum_master_nodes: 2 
    65. 
  
  
  
  
  65. http.port: 9200 
    66. 
  
  
  
  
  66. transport.tcp.port: 9300 
    67. 
  
  
  
  
  67.  
    68. 
  
  
  
  
  68. # 如果是多節(jié)點es，通過ping來健康檢查 
    69. 
  
  
  
  
  69. discovery.zen.ping.unicast.hosts: ["172.20.166.25:9300", "172.20.166.24:9300", "172.20.166.22:9300", "172.20.166.23:9300", "172.20.166.26:9300"] 
    70. 
  
  
  
  
  70. discovery.zen.fd.ping_timeout: 120s 
    71. 
  
  
  
  
  71. discovery.zen.fd.ping_retries: 6 
    72. 
  
  
  
  
  72. discovery.zen.fd.ping_interval: 10s 
    73. 
  
  
  
  
  73.  
    74. 
  
  
  
  
  74. cluster.info.update.interval: 1m 
    75. 
  
  
  
  
  75. indices.fielddata.cache.size:  20% 
    76. 
  
  
  
  
  76. indices.breaker.fielddata.limit: 40% 
    77. 
  
  
  
  
  77. indices.breaker.request.limit: 40% 
    78. 
  
  
  
  
  78. indices.breaker.total.limit: 70% 
    79. 
  
  
  
  
  79. indices.memory.index_buffer_size: 20% 
    80. 
  
  
  
  
  80. script.painless.regex.enabled: true 
    81. 
  
  
  
  
  81.  
    82. 
  
  
  
  
  82. # 磁盤分片分配 
    83. 
  
  
  
  
  83. cluster.routing.allocation.disk.watermark.low: 100gb 
    84. 
  
  
  
  
  84. cluster.routing.allocation.disk.watermark.high: 50gb 
    85. 
  
  
  
  
  85. cluster.routing.allocation.disk.watermark.flood_stage: 30gb 
    86. 
  
  
  
  
  86.  
    87. 
  
  
  
  
  87. # 本地數(shù)據(jù)分片恢復(fù)配置 
    88. 
  
  
  
  
  88. gateway.recover_after_nodes: 3 
    89. 
  
  
  
  
  89. gateway.recover_after_time: 5m 
    90. 
  
  
  
  
  90. gateway.expected_nodes: 3 
    91. 
  
  
  
  
  91. cluster.routing.allocation.node_initial_primaries_recoveries: 8 
    92. 
  
  
  
  
  92. cluster.routing.allocation.node_concurrent_recoveries: 2 
    93. 
  
  
  
  
  93.  
    94. 
  
  
  
  
  94. # 允許跨域請求 
    95. 
  
  
  
  
  95. http.cors.enabled: true 
    96. 
  
  
  
  
  96. http.cors.allow-origin: "*" 
    97. 
  
  
  
  
  97. http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type 
    98. 
  
  
  
  
  98.  
    99. 
  
  
  
  
  99. # 開啟xpack 
    100. 
  
  
  
  
  100. xpack.security.enabled: true 
    101. 
  
  
  
  
  101. xpack.monitoring.collection.enabled: true 
    102. 
  
  
  
  
  102.  
    103. 
  
  
  
  
  103. # 開啟集群中https傳輸 
    104. 
  
  
  
  
  104. xpack.security.transport.ssl.enabled: true 
    105. 
  
  
  
  
  105. xpack.security.transport.ssl.verification_mode: certificate 
    106. 
  
  
  
  
  106. xpack.security.transport.ssl.keystore.path: es-p12/elastic-certificates.p12 
    107. 
  
  
  
  
  107. xpack.security.transport.ssl.truststore.path: es-p12/elastic-certificates.p12 
    108. 
  
  
  
  
  108.  
    109. 
  
  
  
  
  109. # 把 es 配置使用 rsync 同步到其它 es 節(jié)點 
    110. 
  
  
  
  
  110. $ rsync -avp -e ssh /data/ELKStack 172.20.166.24:/data/ 
    111. 
  
  
  
  
  111. $ rsync -avp -e ssh /data/ELKStack 172.20.166.22:/data/ 
    112. 
  
  
  
  
  112. $ rsync -avp -e ssh /data/ELKStack 172.20.166.23:/data/ 
    113. 
  
  
  
  
  113. $ rsync -avp -e ssh /data/ELKStack 172.20.166.26:/data/ 
    114. 
  
  
  
  
  114.  
    115. 
  
  
  
  
  115. # 啟動 es 
    116. 
  
  
  
  
  116. $ docker-compose up -d 
    117. 
  
  
  
  
  117.  
    118. 
  
  
  
  
  118. # 查看 es 
    119. 
  
  
  
  
  119. $ docker-compose ps 
    120.

es-master2 操作

 
 
 
 
    
  
  
  
  
  1. $ cd /data/ELKStack/elasticsearch 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. # 修改 docker-compose.yml elasticsearch.yml 兩個配置 
    4. 
  
  
  
  
  4. $ sed -i 's/es01/es02/g' docker-compose.yml elasticsearch.yml 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6. # 啟動 es 
    7. 
  
  
  
  
  7. $ docker-compose up -d 
    8.

es-master3 操作

 
 
 
 
    
  
  
  
  
  1. $ cd /data/ELKStack/elasticsearch 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. # 修改 docker-compose.yml elasticsearch.yml 兩個配置 
    4. 
  
  
  
  
  4. $ sed -i 's/es01/es03/g' docker-compose.yml elasticsearch.yml 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6. # 啟動 es 
    7. 
  
  
  
  
  7. $ docker-compose up -d 
    8.

es-data1 操作

 
 
 
 
    
  
  
  
  
  1. $ cd /data/ELKStack/elasticsearch 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. # 修改 docker-compose.yml elasticsearch.yml 兩個配置 
    4. 
  
  
  
  
  4. $ sed -i 's/es01/es04/g' docker-compose.yml elasticsearch.yml 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6. # 不做為 es master 節(jié)點，只做數(shù)據(jù)節(jié)點 
    7. 
  
  
  
  
  7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. # 啟動 es 
    10. 
  
  
  
  
  10. $ docker-compose up -d 
    11.

es-data2 操作

 
 
 
 
    
  
  
  
  
  1. $ cd /data/ELKStack/elasticsearch 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. # 修改 docker-compose.yml elasticsearch.yml 兩個配置 
    4. 
  
  
  
  
  4. $ sed -i 's/es01/es05/g' docker-compose.yml elasticsearch.yml 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6. # 不做為 es master 節(jié)點，只做數(shù)據(jù)節(jié)點 
    7. 
  
  
  
  
  7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. # 啟動 es 
    10. 
  
  
  
  
  10. $ docker-compose up -d 
    11.

設(shè)置 es 訪問賬號

 
 
 
 
    
  
  
  
  
  1. # es-master1 操作 
    2. 
  
  
  
  
  2. $ docker exec -it es01 bash 
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. # 設(shè)置 elastic，apm_system，kibana，kibana_system，logstash_system，beats_system，remote_monitoring_user 等密碼 
    5. 
  
  
  
  
  5. # 密碼都設(shè)置為 elastic123，這里只是舉例，具體根據(jù)需求設(shè)置 
    6. 
  
  
  
  
  6. $ ./bin/elasticsearch-setup-passwords interactive 
    7.

六、部署 Kibana

logstash3 操作

 
 
 
 
    
  
  
  
  
  1. $ mkdir -p /data/ELKStack/kibana 
    2. 
  
  
  
  
  2. $ cd /data/ELKStack/kibana 
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. # 創(chuàng)建 kibana 相關(guān)目錄，用于容器掛載 
    5. 
  
  
  
  
  5. $ mkdir config data plugins 
    6. 
  
  
  
  
  6. $ chown 1000.1000 config data plugins 
    7. 
  
  
  
  
  7.  
    8. 
  
  
  
  
  8. # 創(chuàng)建 docker-compose.yml 
    9. 
  
  
  
  
  9. $ vim docker-compose.yml 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. version: '2' 
    12. 
  
  
  
  
  12. services: 
    13. 
  
  
  
  
  13.   kibana: 
    14. 
  
  
  
  
  14.     image: docker.elastic.co/kibana/kibana:7.10.1 
    15. 
  
  
  
  
  15.     container_name: kibana 
    16. 
  
  
  
  
  16.     restart: always 
    17. 
  
  
  
  
  17.     network_mode: "bridge" 
    18. 
  
  
  
  
  18.     mem_limit: 2000m 
    19. 
  
  
  
  
  19.     environment: 
    20. 
  
  
  
  
  20.       SERVER_NAME: kibana.example.com 
    21. 
  
  
  
  
  21.     ports: 
    22. 
  
  
  
  
  22.       - "5601:5601" 
    23. 
  
  
  
  
  23.     volumes: 
    24. 
  
  
  
  
  24.        - /data/ELKStack/kibana/config:/usr/share/kibana/config 
    25. 
  
  
  
  
  25.        - /data/ELKStack/kibana/data:/usr/share/kibana/data 
    26. 
  
  
  
  
  26.        - /data/ELKStack/kibana/plugins:/usr/share/kibana/plugins 
    27. 
  
  
  
  
  27.  
    28. 
  
  
  
  
  28. # 創(chuàng)建 kibana.yml 
    29. 
  
  
  
  
  29. $ vim config/kibana.yml 
    30. 
  
  
  
  
  30.  
    31. 
  
  
  
  
  31. server.name: kibana 
    32. 
  
  
  
  
  32. server.host: "0" 
    33. 
  
  
  
  
  33. elasticsearch.hosts: ["http://172.20.166.25:9200","http://172.20.166.24:9200","http://172.20.166.22:9200"] 
    34. 
  
  
  
  
  34. elasticsearch.username: "kibana" 
    35. 
  
  
  
  
  35. elasticsearch.password: "elastic123" 
    36. 
  
  
  
  
  36. monitoring.ui.container.elasticsearch.enabled: true 
    37. 
  
  
  
  
  37. xpack.security.enabled: true 
    38. 
  
  
  
  
  38. xpack.encryptedSavedObjects.encryptionKey: encryptedSavedObjects1234567890                                                
    
                                                網(wǎng)站名稱：詳解容器部署ELK7.10，適用于生產(chǎn)                                                
    
                                                URL分享：http://m.5511xx.com/article/dpeoshj.html