日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
聊聊面向全球的鏡像分發(fā)網(wǎng)絡

1. 全球的網(wǎng)絡規(guī)劃

如下圖是我認為比較理想的一種網(wǎng)絡拓撲:

龍文網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、成都響應式網(wǎng)站建設等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)建站于2013年創(chuàng)立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)建站。

網(wǎng)絡規(guī)劃主要有如下幾點:

  • 網(wǎng)段劃分

在面向全球的業(yè)務形態(tài)下，網(wǎng)絡被割裂為兩部分: 海外和中國內(nèi)地。我更傾向于建立兩個中心，國內(nèi)的核心節(jié)點設置在北京，主要面向國內(nèi)業(yè)務;海外的核心節(jié)點設置在新加坡，主要面向海外業(yè)務。

因此將 10.128.0.0/16 及以上網(wǎng)段劃分給海外，10.127.0.0/16 及以下劃分給國內(nèi)。同時，每個區(qū)的網(wǎng)段之間相隔 8，預留一定的擴展空間。

  • 實現(xiàn)連通

如果是同一個 VPC，那么內(nèi)網(wǎng)是可達的。但是如果是不同 VPC、不同的廠商、不同的區(qū)域之間，我們通常會借助一定的方法實現(xiàn)連通：公網(wǎng)或者專線。

公網(wǎng)是比較普適的一種方法。我們可以基于公網(wǎng)，搭建 VPN 內(nèi)網(wǎng)，實現(xiàn)網(wǎng)絡連通。但是，公網(wǎng)的連通質(zhì)量不能得到保障，因此還有一種方式就是專線。

專線能夠?qū)崿F(xiàn)跨區(qū)域的網(wǎng)絡連通，但是云專線通常限于同一家云廠商。也就是說，華為云北京的云專線只能連通華為云新加坡，而不能連通 AWS 新加坡。

  • 配置路由

實現(xiàn)連通只是相當于插上了網(wǎng)線，但是轉發(fā)數(shù)據(jù)包時，并不清楚 IP 包的下一跳是哪里，因此還需要配置路由。

由于設置有兩個網(wǎng)絡核心，海外的區(qū)域與海外的核心節(jié)點需要互通，國內(nèi)的區(qū)域與國內(nèi)的核心節(jié)點需要互通。至于其他各區(qū)域是否互通，需要看是否有需求。比如，我們需要在內(nèi)網(wǎng)進行鏡像數(shù)據(jù)的 P2P 分發(fā)，那么就需要各區(qū)域也互通。

2. 建設全球鏡像分發(fā)能力

全球的鏡像分發(fā)能力是建立在全球 IDC 內(nèi)網(wǎng)互通的前提下的。我們不能讓基礎設施暴露于公網(wǎng)之上，全部的鏡像數(shù)據(jù)都是通過內(nèi)網(wǎng)流量進行傳輸?shù)摹?/p>

如下圖是一個全球鏡像分發(fā)系統(tǒng):

我們的研發(fā)部門在國內(nèi)，而部署的服務遍布全球。鏡像數(shù)據(jù)的流轉會經(jīng)過以下流程:

  • 國內(nèi)構建鏡像并推送到國內(nèi)的 Habor 中。
  • 國內(nèi) Habor 同步鏡像到海外的 Habor 中。
  • 在某個區(qū)域，部署海外的應用，拉取鏡像。
  • 由于每個 Docker 中都配置了 Dget 的地址作為 registry-mirrors，應用鏡像被緩存到 Dget 中。
  • 在同一個區(qū)域，多個副本部署時，都將直接拉取 Dget 中的鏡像。

3. Habor 的部署與高可用

3.1 部署 Habor

Harbor 部署主要有兩種方式 Helm Chart 和 Docker Compose。這里推薦的是 Docker Compose，因為作為一個不會頻繁變更、穩(wěn)定性要求高的服務，VM 比 Kubernetes 更適合作為 Habor 的基礎設施。

3.2 高可用 Harbor

Harbor 的高可用主要有兩種方式:

  • 共享存儲。一致性高，需要部署雙活\主備的存儲后端。
  • 多 Harbor 之間同步。一致性不高，鏡像同步需要時間。

我建議采用的方案是共享存儲，不想等待 Harbor 同步完成，推送完的鏡像即可用。如下圖，共享存儲方案下，需要以雙活\主備的形式部署存儲組件:

這里需要共享的組件有:

  • 共享 PGSQL

可以直接購買云廠商的服務，然后初始化創(chuàng)建表。

CREATE DATABASE notary_server;
CREATE DATABASE notary_signer;
CREATE DATABASE harbor ENCODING 'UTF8';

CREATE USER harbor;
ALTER USER harbor WITH ENCRYPTED PASSWORD '123456';
GRANT ALL PRIVILEGES ON DATABASE notary_server TO harbor;
GRANT ALL PRIVILEGES ON DATABASE notary_signer TO harbor;
GRANT ALL PRIVILEGES ON DATABASE registry TO harbor;

GRANT ALL PRIVILEGES ON DATABASE harbor TO harbor;
GRANT ALL PRIVILEGES ON DATABASE clair TO harbor;
external_database:
  harbor:
    host: 1.1.1.1
    port: 5432
    db_name: harbor
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 100
  notary_server:
    host: 1.1.1.1
    port: 5432
    db_name: notary_server
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 30
  notary_signer:
    host: 1.1.1.1
    port: 5432
    db_name: notary_signer
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 30
  • 共享 Redis

Harbor 的 Redis 主要存儲的是會話 Session 信息，會影響到 Harbor UI 頁面的登錄。如果對可用性要求不太高，可以使用自建的 Redis 實例，因為即使 Redis 的存儲數(shù)據(jù)丟失，對 Harbor 的數(shù)據(jù)完整性沒有影響。

  • 共享 S3 對象存儲

我使用的是華為 OBS 對象存儲，這里的 AKSK 需要給 full 權限。

storage_service:
  s3:
    accesskey: xxx
    secretkey: xxx
    region: ap-southeast-3
    regionendpoint: https://obs.ap-southeast-3.myhuaweicloud.com
    bucket: xxx
    encrypt: false
    secure: true
    v4auth: true
    chunksize: 5242880
    multipartcopychunksize: 33554432
    multipartcopymaxconcurrency: 100
    multipartcopythresholdsize: 33554432
    rootdirectory: /registry/

如果擔心 S3 的單點問題，可以購買兩個 Bucket，相互同步鏡像數(shù)據(jù)。這樣，當其中一個 Bucket 有異常時，可以迅速切換到另外一個 Bucket 恢復服務。

4. 利用 Dragonfly 節(jié)省帶寬

為什么需要 Dragonfly 分發(fā)鏡像? 其中很大的一個原因在于節(jié)省帶寬，還有就是避免 Habor 的負載過大。

如果不使用 Dragonfly 鏡像分發(fā)，那么每次拉取鏡像都會向 Habor 請求數(shù)據(jù)。如下圖:

而采用 Dragonfly 之后，同一個區(qū)域只需要請求一次 Harbor，其他請求都可以通過區(qū)域內(nèi)的流量完成。這種方式大大加快了鏡像拉取過程，節(jié)省了跨區(qū)域的帶寬，減輕了 Habor 的負載壓力。

5. 總結

最近在給業(yè)務重新規(guī)劃部署一套鏡像管理系統(tǒng)，本篇是相關思考和實踐的一些總結。

本文主要從網(wǎng)絡規(guī)劃開始，聊到全球鏡像的分發(fā)。網(wǎng)絡規(guī)劃主要涉及網(wǎng)段規(guī)劃、實現(xiàn)連通、配置路由三個部分。而鏡像分發(fā)主要采用的是 Habor + Dragonfly 的方案。同時，推薦的是采用共享存儲的方式部署高可用的 Harbor。

實際上，在部署完 Habor 之后，我還對各區(qū)域拉取鏡像的速度進行了測試。另外，還需要將影響 Habor 服務的依賴項配置監(jiān)控，持續(xù)的改進，才能打造好的鏡像倉庫及分發(fā)系統(tǒng)。

6. 參考

  • https://github.com/dragonflyoss/Dragonfly2
  • https://github.com/goharbor/harbor

文章名稱：聊聊面向全球的鏡像分發(fā)網(wǎng)絡
URL標題：http://m.5511xx.com/article/dhdsijd.html