數(shù)據(jù)中心分布式調(diào)度超人：DCOS—帶你走進拔地而起的數(shù)據(jù)之城

作者：佚名 2019-09-23 17:36:27

企業(yè)動態(tài)

分布式 根據(jù)對適合構(gòu)建DCOS的各種技術(shù)架構(gòu)的評估，選擇以Mesos為基礎(chǔ)的方案。優(yōu)點是成熟度高、兩級調(diào)度框架、適合多種應用場景、混合部署、應用與平臺耦合度低。

DCOS 是為整個數(shù)據(jù)中心提供分布式調(diào)度與協(xié)調(diào)功能，實現(xiàn)數(shù)據(jù)中心級彈性伸縮能力的軟件堆棧，它將所有數(shù)據(jù)中心的資源當做一臺計算機來調(diào)度。

根據(jù)對適合構(gòu)建DCOS的各種技術(shù)架構(gòu)的評估，選擇以Mesos為基礎(chǔ)的方案。優(yōu)點是成熟度高、兩級調(diào)度框架、適合多種應用場景、混合部署、應用與平臺耦合度低。

Mesos較為成熟，2013年建立商業(yè)實體Mesosphere，Twitter、Appale等公司的大型應用通過Mesos進行管理和調(diào)度，其集群管理規(guī)模超過10萬級別。

優(yōu)勢：

• 擴展能力強，Apple最高使用了75000個節(jié)點
• 同時采用兩級調(diào)度，把任務的分配交給框架，由框架決定是否使用資源。
• 相對成熟，已經(jīng)有比較多的生產(chǎn)環(huán)境案例和最佳實踐
• 可以使用和docker容器不同的格式
• 極度靈活，支持多種框架，如Marathon、Hadoop和k8s等

劣勢：平臺組件涉及不同的語言：Meos(C++)，Marathon(Scala)

K8s近兩年興起，2014年由Google開源，最大集群規(guī)模為千級別，大規(guī)模集群解決方案較少。

優(yōu)勢：

• API設(shè)計比較精良
• Pod，Service，NameSpsave對為服務作了更好的抽象
• 一種語言，Golang

劣勢：

• 比較年輕，成熟的生產(chǎn)環(huán)境比較少，存在比較多的BUG
• 還沒有有名的大公司大規(guī)模生產(chǎn)實踐
• 當前只支持docker容器，不支持hadoop、spark等多種框架

Docker平臺以及周邊生態(tài)系統(tǒng)包含很多工具來管理容器的生命周期。例如，Docker Command Line Interface(CLI)滿足在單個主機上管理容器的需求，但是面對部署在多個主機上的容器時就無所適從了。為了超越單個容器管理，我們必須轉(zhuǎn)向編排工具。容器編排工具將生命周期管理能力擴展到部署在大量機器集群上部署的復雜的、多容器工作負載。

Mesos是一種底層級、久經(jīng)沙場的調(diào)度器，對于容器的編排，支持多種frameworks，已兼容任務調(diào)度平臺、計費中心等多種編排框架，更適合租戶自定義的需求場景。

Kubernetes引擎是自帶服務發(fā)現(xiàn)和復制的編排工具。在滿足當前docker應用編排的同時，對有狀態(tài)的服務支持優(yōu)于mesos，可提供一個可容錯和可擴展的系統(tǒng)。

DCOS管理平臺為租戶提供不同引擎之間的相互切換，滿足租戶的各種應用場景。

豐富的實踐積累

調(diào)研及需求分析

? 了解系統(tǒng)現(xiàn)狀

? 明確業(yè)務影響范圍

? 理解運營現(xiàn)狀

? 風險評估

? 需求分析

平臺集成規(guī)劃與設(shè)計

? 平臺架構(gòu)設(shè)計

? 平臺資源規(guī)劃

? 業(yè)務系統(tǒng)部署規(guī)劃

? 系統(tǒng)割接規(guī)劃

? 系統(tǒng)演進規(guī)劃

平臺集成實施與測試

? 平臺部署

? 平臺能力測試

? 配合應用改造

? 聯(lián)調(diào)測試

? 割接、上線

平臺優(yōu)化及維護

? 平臺監(jiān)控

? 平臺性能分析評估

? 平臺優(yōu)化調(diào)整

? 平臺維護

DCOS數(shù)據(jù)中心通過分布式調(diào)度實現(xiàn)數(shù)據(jù)中心級的彈性能力，某通信集團采購配置了高達300多個節(jié)點的數(shù)據(jù)中心：

? 5節(jié)點 Mesos Master Cluster

? 8節(jié)點 HAProxy Cluster

? 300+節(jié)點承載 2000+ Docker Container

所有平臺組件均已容器化，跨機房部署，輕松實現(xiàn) 1 分鐘擴展到 2000+ 容器！如此高標準規(guī)?；幕A(chǔ)能力不僅幫助客戶出色完成小規(guī)模活動，還為其提供了更大的發(fā)揮空間，去嘗試更大規(guī)模的活動和任務。

具備典型的三層架構(gòu)特征，WEB 層及 APP 層基本采用分布式技術(shù)實現(xiàn)，具備進行 DCOS 平臺應用的前提條件，DB 層采用數(shù)據(jù)庫云平臺 PBData。

該系統(tǒng)經(jīng)歷了某運營商雙十一充值活動的全面檢驗，以出色的成績完成任務，以數(shù)十倍于傳統(tǒng)架構(gòu)的能力承載了更加巨大的訪問和交易數(shù)據(jù)處理壓力。

除了移動業(yè)務，我們的產(chǎn)品同時在保險，通信運營商，銀行信用卡中心等行業(yè)處理不同的業(yè)務時，表現(xiàn)了出色的性能能力：

為客戶減少運維運營成本，減少資源消耗，幫助客戶完成由于系統(tǒng)局限導致擴張停滯不前的業(yè)務重獲新生，創(chuàng)造更多的價值和收益。

網(wǎng)頁題目：數(shù)據(jù)中心分布式調(diào)度超人：DCOS—帶你走進拔地而起的數(shù)據(jù)之城
文章出自：http://m.5511xx.com/article/dpcjjpj.html