詳解docker負載均衡和服務(wù)發(fā)現(xiàn)

作者：Hardy 2019-09-19 09:03:13

云計算 Docker 是一個開源項目，誕生于 2013 年初，最初是 dotCloud 公司內(nèi)部的一個業(yè)余項目，自開源后受到廣泛的關(guān)注和討論，以至于dotCloud 公司后來都改名為 Docker Inc。

Docker 是一個開源項目，誕生于 2013 年初，最初是 dotCloud 公司內(nèi)部的一個業(yè)余項目，自開源后受到廣泛的關(guān)注和討論，以至于dotCloud 公司后來都改名為 Docker Inc。

Docker 是一個使用Go語言開發(fā)的開源的應(yīng)用容器引擎，是PaaS提供商dotCloud開源的一個容器引擎。Docker 遵從 Apache 2.0 協(xié)議，項目代碼在 GitHub 上進行維護。

簡單講，Docker就是一個可以分配資源的進程隔離模型。Docker 項目的目標是實現(xiàn)輕量級的操作系統(tǒng)虛擬化解決方案。

相關(guān)術(shù)語解釋

• Dubbo：阿里巴巴公司開源的一個高性能優(yōu)秀的服務(wù)框架，使得應(yīng)用可通過高性能的 RPC 實現(xiàn)服務(wù)的輸出和輸入功能，可以和Spring框架無縫集成。
• LVS：Linux Virtual Server的簡寫，意即Linux虛擬服務(wù)器，是一個虛擬的服務(wù)器集群系統(tǒng)。
• Ipvs：IP虛擬服務(wù)器(IP Virtual Server，簡寫為IPVS)。是運行在LVS下的提供負載平衡功能的一種技術(shù)
• Nginx：一款輕量級的Web 服務(wù)器/反向代理服務(wù)器及電子郵件(IMAP/POP3)代理服務(wù)器。
• HAProxy：一個使用C語言編寫的自由及開放源代碼軟件[1]，其提供高可用性、負載均衡，以及基于TCP和HTTP的應(yīng)用程序代理。
• 南北通信：指的是整個容器集群入口的通信。南北通信的特點往往是通信量比較大，因此我們首先用SLB將流量分散到各個主機節(jié)點。
• 東西通信：指的是集群內(nèi)部，容器和容器間的通信方式。

技術(shù)原理介紹

容器化帶來的問題

在缺省網(wǎng)絡(luò)模型中，容器每次重啟后，IP會發(fā)生變動，在一個大的分布式系統(tǒng)保證IP地址不變是比較復(fù)雜的事情。

IP頻繁發(fā)生變動，動態(tài)應(yīng)用部署無法預(yù)知容器的IP地址，client端如何發(fā)現(xiàn)server端的訪問端點?

問題解決方案

根據(jù)客戶端是否有感知進行分類。

客戶端的發(fā)現(xiàn)：client 訂閱注冊中心，有一個固定的注冊中心地址，client訂閱某個服務(wù)的注冊中心，注冊中心根據(jù)服務(wù)的運行狀態(tài)推送某個服務(wù)的訪問端點列表給client端。該方案的實現(xiàn)舉例有Dubbo、DNS的解析等。

服務(wù)端的發(fā)現(xiàn)：服務(wù)端提供某個服務(wù)固定的訪問端點，客戶端直接訪問該端點即可達到與服務(wù)端通信的目的，該訪問端口對接后端具有動態(tài)IP的容器，作為請求的入口，負責(zé)請求轉(zhuǎn)發(fā)到后端的容器。

該方案的實現(xiàn)舉例就是各種對后端負載均衡的實現(xiàn)，包括LVS 、Nginx、HAProxy等。

我們可以認為如下公式基本成立："服務(wù)端的發(fā)現(xiàn)" = "負載均衡器" + "路由配置自動更新"

對比客戶端的發(fā)現(xiàn)，服務(wù)端發(fā)現(xiàn)對客戶端無感知，由于很多已有的應(yīng)用或者系統(tǒng)并不是按照類似Dubbo這種服務(wù)化的框架實現(xiàn)的，這些應(yīng)用或者系統(tǒng)的客戶端對服務(wù)發(fā)現(xiàn)都是無感知的，因此服務(wù)端的發(fā)現(xiàn)就表現(xiàn)出了獨特的優(yōu)勢。

客戶端的服務(wù)發(fā)現(xiàn)方法中，DNS是一個例外，幾乎所有的客戶端都支持DNS。下面介紹客戶端DNS和服務(wù)端的負載均衡器做服務(wù)發(fā)現(xiàn)的幾個方案。

微服務(wù)發(fā)現(xiàn)方案

DNS解析到多個IP

優(yōu)點：Docker版本大于1.10即原生支持容器集群內(nèi)部DNS的服務(wù)發(fā)現(xiàn)。

缺點：由于DNS TTL生效時間的存在，解析的結(jié)果不能做到實時，即使TTL設(shè)置為0，某些應(yīng)用或者方法庫會緩存DNS解析的結(jié)果，導(dǎo)致會解析到已經(jīng)失效的地址上。

內(nèi)核空間 LVS/IPVS

優(yōu)點：IPVS的方案是Docker在未來會正式發(fā)布的1.12版本中采用的方案，主要是做到了4層的負載均衡，請求的轉(zhuǎn)發(fā)實現(xiàn)在內(nèi)核中，不需要二次拷貝請求和響應(yīng)的內(nèi)容，不需要解析和處理7層HTTP協(xié)議，效率高。

缺點：缺少7層負載均衡的支持，一個服務(wù)的負載均衡會占用主機的一個端口，服務(wù)與服務(wù)之間暴露的端口如果相同會產(chǎn)生沖突。

用戶空間Nginx

優(yōu)點：同時支持4層和7層負載均衡的代理，多進程模型方便利用多核性能，具有cache功能，亦可作為靜態(tài)文件Web服務(wù)器，7層可以根據(jù)區(qū)分HOST字段來復(fù)用同一個80端口，解決端口沖突的問題。

7層負載會解析HTTP協(xié)議，支持多層路由，包括根據(jù)域名不同進行路由，根據(jù)路徑不同進行路由，內(nèi)部重定向等多種HTTP協(xié)議層的功能。

缺點：負載均衡調(diào)度算法較少，對后端進行健康檢查的策略較少。

用戶空間 HAProxy

優(yōu)點：同時支持用戶空間4層和7層負載均衡的代理，是一個純粹的軟負載均衡器，支持Round-Robin，static-rr，least-conn，source-IP等多種調(diào)度算法，對后端進行健康檢查的策略完備，包括TCP端口檢查，HTTP請求檢查，可執(zhí)行程序檢查等帶外檢查。

7層可以根據(jù)區(qū)分HOST字段來復(fù)用同一個80端口，解決端口沖突的問題。7層負載會解析HTTP協(xié)議，支持多層路由，包括根據(jù)域名不同進行路由，根據(jù)路徑不同進行路由，內(nèi)部重定向等多種HTTP協(xié)議層的功能。

缺點：不能作為靜態(tài)文件服務(wù)器，不支持Cache緩存功能。

容器服務(wù)的負載均衡方案

經(jīng)過前面優(yōu)缺點的分析和結(jié)合相關(guān)產(chǎn)品的優(yōu)勢，提供了以下解決方案。

Docker自帶的DNS 服務(wù)發(fā)現(xiàn)，只要Docker版本大于1.1，就支持DNS的服務(wù)發(fā)現(xiàn)。其特點是為：

1)每個容器提供獨立的DNS解析;

2)可以通過容器名與別名(Aliases)方式在整個網(wǎng)絡(luò)作用域內(nèi)解析到某個容器的IP;

3)通過鏈接別名的方式(Link Aliases)在容器的作用域內(nèi)設(shè)置DNS解析，好處是不同容器的相同別名不會沖突。

4)對外部的DNS解析請求進行代理。如下圖所示：

SLB做到動態(tài)綁定的原理：Swarm監(jiān)管容器的狀態(tài)，如果容器正常運行，則把容器加入到SLB的后端，如果容器發(fā)現(xiàn)異常，則把容器從SLB的后端摘下來。

HAProxy實現(xiàn)動態(tài)服務(wù)發(fā)現(xiàn)的原理：HAProxy容器內(nèi)除了有HAProxy軟件，還有腳本程序監(jiān)管容器的狀態(tài)，根據(jù)容器的健康狀況重新生成負載均衡信息，然后重新加載(reload)HAProxy，使得新的負載均衡信息生效。

實現(xiàn)不停服rolling_update原理：平滑升級的關(guān)鍵在于每一時刻均有至少一個容器還能正常提供服務(wù)。

1)需要部署多個容器，將容器分為A、B兩批更新。

2)更新容器時，先將A批容器的路由從SLB或者HAProxy上面摘下來。

3) 更新A批容器

4)A批容器健康檢查正常后，重新加入路由

5)摘下B批容器的路由

6)更新B批容器。

實現(xiàn)灰度發(fā)布原理：不通版本的服務(wù)可以共享同一路由信息，通過調(diào)整SLB或者HAProxy權(quán)重的方式來做到灰度發(fā)布。

根據(jù)場景提供服務(wù)形態(tài)

簡單路由服務(wù)：基于HAProxy，我們加了一層Wrapper，做到動態(tài)發(fā)現(xiàn)處于運行狀態(tài)的容器，加入到負載均衡中，我們稱之為簡單路由服務(wù)(Routing service)，其公網(wǎng)IP通過一個SLB對外進行暴露。主要解決如下需求：

7層服務(wù)端點對公網(wǎng)暴露，即承接公網(wǎng)訪問集群內(nèi)使用7層協(xié)議的服務(wù)的流量。

7層服務(wù)端點對內(nèi)網(wǎng)暴露，即容器集群內(nèi)的負載均衡和服務(wù)發(fā)現(xiàn)：如下圖所示，集群內(nèi)的服務(wù)發(fā)現(xiàn)利用了Docker自帶的DNS resolver配合了HAProxy的負載均衡和健康檢查。圖中的LB即為簡單路由服務(wù)下的HAProxy容器。

1)首先通過Docker自帶的DNSresolver將域名restserver.local解析到HAProxy容器的IP，此處會優(yōu)先選擇當(dāng)前節(jié)點的HAProxy容器進行負載均衡;

2)RestClient請求域名restserver.local時，請求先走到代理容器LB;

3)LB根據(jù)從Discovery Service獲取到的負載均衡信息代理到提供相應(yīng)服務(wù)的容器后端RestServer Contaienr。

場景和對應(yīng)的路由服務(wù)總結(jié)

如圖表所示，我們將容器集群外進入容器集群內(nèi)的入口通信稱為南北通信，將集群內(nèi)容器和容器之間的流量成為東西通信。

我們根據(jù)不同的通信形式和協(xié)議層提供不同的服務(wù)來滿足用戶的需求，例如對應(yīng)南北通信，如果是使用7層協(xié)議的服務(wù)，我們推薦用戶使用集群的SLB進行流量轉(zhuǎn)發(fā)，最終的流量會轉(zhuǎn)發(fā)到每個主機的HAProxy容器上面，然后在分發(fā)到相應(yīng)的處理請求的服務(wù)上。

當(dāng)前題目：詳解Docker負載均衡和服務(wù)發(fā)現(xiàn)
轉(zhuǎn)載源于：http://m.5511xx.com/article/cocgpii.html