日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢(xún)
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
阿里云開(kāi)源image-syncer工具，容器鏡像大批量遷移同步利器

 本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

成都創(chuàng)新互聯(lián)主營(yíng)康巴什網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,App定制開(kāi)發(fā),康巴什h5微信小程序定制開(kāi)發(fā)搭建,康巴什網(wǎng)站營(yíng)銷(xiāo)推廣歡迎康巴什等地區(qū)企業(yè)咨詢(xún)

怎么把已有的容器鏡像平滑的遷移到阿里云鏡像服務(wù) ACR 上？最近阿里云給出了很好的方案，他們開(kāi)源了 image-syncer 工具，能夠使得成百上千個(gè)鏡像實(shí)現(xiàn)平滑的批量遷移，其中最大鏡像倉(cāng)庫(kù)的總量可以達(dá)到 3T 以上。而這一工具，也被稱(chēng)為容器鏡像遷移/同步利器，雷鋒網(wǎng)AI 開(kāi)發(fā)者將其重點(diǎn)內(nèi)容及開(kāi)源地址整理編輯如下。

什么是 image-syncer？

顧名思義，image-syncer 本質(zhì)上就是圖像同步器。它是一個(gè) docker 鏡像同步工具，能夠?qū)⒍鄬?duì)多的鏡像倉(cāng)庫(kù)同步，并支持目前絕大多數(shù)主流的 docker 鏡像倉(cāng)庫(kù)服務(wù)，例如：ACR、DockerHub、Quay、自建 Harbor 等。

通常情況下，在 k8s 集群遷移場(chǎng)景中，鏡像倉(cāng)庫(kù)之間進(jìn)行鏡像遷移/同步是基本需求，而使用 docker pull/push 結(jié)合腳本的傳統(tǒng)方式進(jìn)行鏡像同步，有如下幾個(gè)局限性：

  • 依賴(lài)磁盤(pán)存儲(chǔ)，需要及時(shí)進(jìn)行本地鏡像的清理，并且落盤(pán)造成多余的時(shí)間開(kāi)銷(xiāo)，難以勝任生產(chǎn)場(chǎng)景中大量鏡像的遷移

  • 依賴(lài) docker 程序，docker daemon 對(duì) pull/push 的并發(fā)數(shù)進(jìn)行了嚴(yán)格的限制，無(wú)法進(jìn)行高并發(fā)同步

  • 一些功能只能通過(guò) HTTP api 進(jìn)行操作，單純使用 docker cli 無(wú)法做到，使腳本變得復(fù)雜

圖 1 阿里云遷移框架

而 image-syncer 開(kāi)發(fā)之初的定位就是一個(gè)簡(jiǎn)單、易用的批量鏡像遷移/同步工具；因此，它的特性如下：

  • 支持多對(duì)多鏡像倉(cāng)庫(kù)同步

  • 支持基于 Docker Registry V2 搭建的 docker 鏡像倉(cāng)庫(kù)服務(wù) (如 Docker Hub、 Quay、 阿里云鏡像服務(wù) ACR、 Harbor 等)

  • 同步只經(jīng)過(guò)內(nèi)存和網(wǎng)絡(luò)，不依賴(lài)磁盤(pán)存儲(chǔ)，同步速度快

  • 增量同步, 通過(guò)對(duì)同步過(guò)的鏡像 blob 信息落盤(pán)，不重復(fù)同步已同步的鏡像

  • 并發(fā)同步，可以通過(guò)配置文件調(diào)整并發(fā)數(shù)

  • 自動(dòng)重試失敗的同步任務(wù)，可以解決大部分鏡像同步中的網(wǎng)絡(luò)抖動(dòng)問(wèn)題

  • 不依賴(lài) docker 以及其他程序

只需要保證 image-syncer 的運(yùn)行環(huán)境與需要同步的 registry 網(wǎng)絡(luò)連通，使用者就可以快速地完成從鏡像倉(cāng)庫(kù)的遷移、拷貝以及增量同步，并且該工具對(duì)硬件資源幾乎沒(méi)有要求（因?yàn)?image-syncer 嚴(yán)格控制網(wǎng)絡(luò)連接數(shù)目=并發(fā)數(shù)，所以只有在當(dāng)單個(gè)鏡像層過(guò)大的情況下，并發(fā)數(shù)目過(guò)大可能會(huì)打滿內(nèi)存，內(nèi)存占用 <= 并發(fā)數(shù) x 最大鏡像層大小）。

如何使用 image-syncer？

運(yùn)行 image-syncer，只需要提供一個(gè)配置文件，內(nèi)容如下：

  
  
  
  
    
   
   
   
   
  1. { 
    2. 
   
   
   
   
  2.  
    3. 
   
   
   
   
  3.  "auth": { // 認(rèn)證字段，其中每個(gè)對(duì)象為一個(gè) registry 的一個(gè)賬號(hào)和 
    4. 
   
   
   
   
  4.  
    5. 
   
   
   
   
  5.  // 密碼；通常，同步源需要具有 pull 以及訪問(wèn) tags 權(quán)限， 
    6. 
   
   
   
   
  6.  
    7. 
   
   
   
   
  7.  // 同步目標(biāo)需要擁有 push 以及創(chuàng)建倉(cāng)庫(kù)權(quán)限，如果沒(méi)有提供，則默認(rèn)匿名訪問(wèn) 
    8. 
   
   
   
   
  8.  
    9. 
   
   
   
   
  9.   
    10. 
   
   
   
   
  10.  
    11. 
   
   
   
   
  11.  "quay.io": { // registry 的 url，需要和下面 images 中對(duì)應(yīng) registry 的 url 相同 
    12. 
   
   
   
   
  12.  
    13. 
   
   
   
   
  13.  "username": "xxx", // 用戶名，可選 
    14. 
   
   
   
   
  14.  
    15. 
   
   
   
   
  15.  "password": "xxxxxxxxx", // 密碼，可選 
    16. 
   
   
   
   
  16.  
    17. 
   
   
   
   
  17.  "insecure": true // registry 是否是 http 服務(wù)，如果是，insecure 字段需要為 true，默認(rèn)是 false，可選，支持這個(gè)選項(xiàng)需要 image-syncer 版本 > v1.0.1 
    18. 
   
   
   
   
  18.  
    19. 
   
   
   
   
  19.  }, 
    20. 
   
   
   
   
  20.  
    21. 
   
   
   
   
  21.  "registry.cn-beijing.aliyuncs.com": { 
    22. 
   
   
   
   
  22.  
    23. 
   
   
   
   
  23.  "username": "xxx", 
    24. 
   
   
   
   
  24.  
    25. 
   
   
   
   
  25.  "password": "xxxxxxxxx" 
    26. 
   
   
   
   
  26.  
    27. 
   
   
   
   
  27.  }, 
    28. 
   
   
   
   
  28.  
    29. 
   
   
   
   
  29.  "registry.hub.docker.com": { 
    30. 
   
   
   
   
  30.  
    31. 
   
   
   
   
  31.  "username": "xxx", 
    32. 
   
   
   
   
  32.  
    33. 
   
   
   
   
  33.  "password": "xxxxxxxxxx" 
    34. 
   
   
   
   
  34.  
    35. 
   
   
   
   
  35.  } 
    36. 
   
   
   
   
  36.  
    37. 
   
   
   
   
  37.  }, 
    38. 
   
   
   
   
  38.  
    39. 
   
   
   
   
  39.  "images": { 
    40. 
   
   
   
   
  40.  
    41. 
   
   
   
   
  41.  // 同步鏡像規(guī)則字段，其中條規(guī)則包括一個(gè)源倉(cāng)庫(kù)（鍵）和一個(gè)目標(biāo)倉(cāng)庫(kù)（值） 
    42. 
   
   
   
   
  42.  
    43. 
   
   
   
   
  43.  // 同步的最大單位是倉(cāng)庫(kù)（repo），不支持通過(guò)一條規(guī)則同步整個(gè) namespace 以及 registry 
    44. 
   
   
   
   
  44.  
    45. 
   
   
   
   
  45.  // 源倉(cāng)庫(kù)和目標(biāo)倉(cāng)庫(kù)的格式與 docker pull/push 命令使用的鏡像 url 類(lèi)似（registry/namespace/repository:tag） 
    46. 
   
   
   
   
  46.  
    47. 
   
   
   
   
  47.  // 源倉(cāng)庫(kù)和目標(biāo)倉(cāng)庫(kù)（如果目標(biāo)倉(cāng)庫(kù)不為空字符串）都至少包含 registry/namespace/repository 
    48. 
   
   
   
   
  48.  
    49. 
   
   
   
   
  49.  // 源倉(cāng)庫(kù)字段不能為空，如果需要將一個(gè)源倉(cāng)庫(kù)同步到多個(gè)目標(biāo)倉(cāng)庫(kù)需要配置多條規(guī)則 
    50. 
   
   
   
   
  50.  
    51. 
   
   
   
   
  51.  // 目標(biāo)倉(cāng)庫(kù)名可以和源倉(cāng)庫(kù)名不同（tag 也可以不同），此時(shí)同步功能類(lèi)似于：docker pull + docker tag + docker push 
    52. 
   
   
   
   
  52.  
    53. 
   
   
   
   
  53.  "quay.io/coreos/kube-rbac-proxy": "quay.io/ruohe/kube-rbac-proxy", 
    54. 
   
   
   
   
  54.  
    55. 
   
   
   
   
  55.  "xxxx":"xxxxx", 
    56. 
   
   
   
   
  56.  
    57. 
   
   
   
   
  57.  "xxx/xxx/xx:tag1,tag2,tag3":"xxx/xxx/xx" 
    58. 
   
   
   
   
  58.  
    59. 
   
   
   
   
  59.  // 當(dāng)源倉(cāng)庫(kù)字段中不包含 tag 時(shí)，表示將該倉(cāng)庫(kù)所有 tag 同步到目標(biāo)倉(cāng)庫(kù)，此時(shí)目標(biāo)倉(cāng)庫(kù)不能包含 tag 
    60. 
   
   
   
   
  60.  
    61. 
   
   
   
   
  61.  // 當(dāng)源倉(cāng)庫(kù)字段中包含 tag 時(shí)，表示只同步源倉(cāng)庫(kù)中的一個(gè) tag 到目標(biāo)倉(cāng)庫(kù)，如果目標(biāo)倉(cāng)庫(kù)中不包含 tag，則默認(rèn)使用源 tag 
    62. 
   
   
   
   
  62.  
    63. 
   
   
   
   
  63.  // 源倉(cāng)庫(kù)字段中的 tag 可以同時(shí)包含多個(gè)（比如"a/b/c:1,2,3"），tag 之間通過(guò)","隔開(kāi)，此時(shí)目標(biāo)倉(cāng)庫(kù)不能包含 tag，并且默認(rèn)使用原來(lái)的 tag 
    64. 
   
   
   
   
  64.  
    65. 
   
   
   
   
  65.  // 當(dāng)目標(biāo)倉(cāng)庫(kù)為空字符串時(shí)，會(huì)將源鏡像同步到默認(rèn) registry 的默認(rèn) namespace 下，并且 repo 以及 tag 與源倉(cāng)庫(kù)相同，默認(rèn) registry 和默認(rèn) namespace 可以通過(guò)命令行參數(shù)以及環(huán)境變量配置，參考下面的描述 
    66. 
   
   
   
   
  66.  
    67. 
   
   
   
   
  67.  }  
    68. 
   
   
   
   
  68.  
    69. 
   
   
   
   
  69. } 
    70.

用戶可以根據(jù)配置不同的鏡像同步規(guī)則組合，以匹配不同的遷移/同步需求，如將單個(gè)鏡像 repo 同步到多個(gè)不同的鏡像 repo、將多個(gè)源鏡像同步到單個(gè)鏡像 repo 中（以 tag 區(qū)分）、在同一個(gè) registry 中以不同的名字拷貝一個(gè)鏡像 repo 等等。

需要注意的是，如果匿名訪問(wèn)作為同步源的 registry 地址，可能存在權(quán)限問(wèn)題無(wú)法 pull 鏡像以及無(wú)法獲取 tags，這種情況下需要在" auth "中加入有對(duì)應(yīng)權(quán)限的賬號(hào)密碼；而如果匿名訪問(wèn)作為同步目標(biāo)的 registry 地址，可能存在權(quán)限問(wèn)題無(wú)法 push 鏡像，同樣也可能需要用戶提供有對(duì)應(yīng)權(quán)限的賬號(hào)密碼。

通常從自建 harbor 同步鏡像到 ACR 需要 5 個(gè)步驟，包括：

  • 創(chuàng)建 ACR 實(shí)例

  • 創(chuàng)建命名空間

  • 創(chuàng)建訪問(wèn)憑證

  • 進(jìn)行權(quán)限管理，完成配置

圖 2 最小權(quán)限設(shè)置示例

  • 下載 image-syncer 可執(zhí)行文件（目前只支持 linux amd64 版本，可以自行編譯）并解壓，然后運(yùn)行工具

最新版源碼以及二進(jìn)制文件：

https://github.com/AliyunContainerService/image-syncer/releases/tag/v1.0.3 

常見(jiàn)問(wèn)題

一次同步會(huì)經(jīng)歷三個(gè)階段：生成同步任務(wù)、執(zhí)行同步任務(wù)以及重試失敗任務(wù)；其中，每個(gè)同步任務(wù)都代表了一個(gè)需要同步的 tag（鏡像），如果配置文件中某條規(guī)則沒(méi)有指定 tag，在「生成同步任務(wù)」階段會(huì)自動(dòng) list 源倉(cāng)庫(kù)所有 tag，并生成對(duì)應(yīng)的同步任務(wù)，如果生成同步任務(wù)失敗，也會(huì)在重試階段進(jìn)行重試。（故意配錯(cuò)賬號(hào)密碼時(shí)）執(zhí)行輸出如下：

圖 3 配錯(cuò)賬號(hào)密碼時(shí)執(zhí)行輸出

正常運(yùn)行的輸出：

圖 4 正常操作時(shí)執(zhí)行輸出

在運(yùn)行時(shí)，image-syncer 會(huì)打印出如下的日志信息：

圖 5 輸出結(jié)果日志

而在同步結(jié)束之后，image-syncer 也會(huì)統(tǒng)計(jì)成功和失敗的同步任務(wù)數(shù)目（每個(gè)同步任務(wù)代表一個(gè)鏡像），并在標(biāo)準(zhǔn)輸出和日志中打印 "Finished, FAILED TASKS> sync tasks failed, TASKS> tasks generate failed" 的字樣，從而可以獲得同步的結(jié)果。

圖 6 部分其它參數(shù)示例


網(wǎng)站題目：阿里云開(kāi)源image-syncer工具，容器鏡像大批量遷移同步利器
標(biāo)題來(lái)源：http://m.5511xx.com/article/cddegij.html