建站
咨詢
售后
建站咨詢
新聞中心
本文轉(zhuǎn)載自微信公眾號「大數(shù)據(jù)DT」，作者彭鋒 宋文欣等。轉(zhuǎn)載本文請聯(lián)系 大數(shù)據(jù)DT公眾號。
從事綿陽機房托管，服務器租用，云主機，網(wǎng)頁空間，域名注冊，CDN，網(wǎng)絡代維等服務。
我們可以這樣理解，傳統(tǒng)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫是數(shù)據(jù)中臺的數(shù)據(jù)來源，建設數(shù)據(jù)中臺是為了更好地服務于業(yè)務部門。
圖1-1顯示了信息化系統(tǒng)、數(shù)據(jù)倉庫、傳統(tǒng)大數(shù)據(jù)平臺、數(shù)據(jù)中臺之間的關系，其中的箭頭表示數(shù)據(jù)的主要流向。
▲圖1-1 數(shù)據(jù)中臺與傳統(tǒng)大數(shù)據(jù)平臺、數(shù)據(jù)倉庫的關系
數(shù)據(jù)中臺與傳統(tǒng)大數(shù)據(jù)平臺到底有什么區(qū)別?為了敘述方便，我們先給出傳統(tǒng)大數(shù)據(jù)平臺的架構(gòu)(見圖1-2)。
▲圖1-2 傳統(tǒng)大數(shù)據(jù)平臺
- 大數(shù)據(jù)基礎能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。
- 在大數(shù)據(jù)組件上搭建的 ETL流水線，包括數(shù)據(jù)分析、機器學習程序。
- 數(shù)據(jù)治理系統(tǒng)。
- 數(shù)據(jù)倉庫系統(tǒng)。
- 數(shù)據(jù)可視化系統(tǒng)。
可以看到，這些是傳統(tǒng)大數(shù)據(jù)平臺的核心功能。在很多大數(shù)據(jù)項目里，只要把這些系統(tǒng)搭起來，每天可以生成業(yè)務報表(包括實時大屏)，就算大數(shù)據(jù)平臺搭建成功了。
但數(shù)據(jù)中臺應該是大數(shù)據(jù)平臺的一個超集。我們認為，在大數(shù)據(jù)平臺的基礎之上，數(shù)據(jù)中臺還應該提供下面的系統(tǒng)功能。
1. 全局的數(shù)據(jù)應用資產(chǎn)管理
這里所說的數(shù)據(jù)應用資產(chǎn)管理包括整個生態(tài)系統(tǒng)中的數(shù)據(jù)和應用。傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理絕大部分只包括關系型數(shù)據(jù)庫中的資產(chǎn)(包括Hive)，而一個數(shù)據(jù)中臺應該管理所有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)資產(chǎn)，以及使用這些數(shù)據(jù)資產(chǎn)的應用。
如果傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理提供的是數(shù)據(jù)目錄，那么數(shù)據(jù)中臺提供的應該是擴展的數(shù)據(jù)及應用目錄。要避免重復造輪子，首先要知道系統(tǒng)中有哪些輪子，因此維護一個系統(tǒng)中數(shù)據(jù)及數(shù)據(jù)應用的列表是很關鍵的。
2. 全局的數(shù)據(jù)治理機制
與傳統(tǒng)的數(shù)據(jù)治理不一樣，數(shù)據(jù)中臺必須提供針對全局的數(shù)據(jù)治理工具和機制。傳統(tǒng)數(shù)據(jù)倉庫中的數(shù)據(jù)建模和數(shù)據(jù)治理大多針對一個特定部門的業(yè)務，部分原因是全局數(shù)據(jù)建模和治理周期太長，由于存在部門之間的協(xié)調(diào)問題，往往難度很大。
數(shù)據(jù)中臺提供的數(shù)據(jù)治理機制必須允許各個業(yè)務部門自主迭代，但前提是要有全局一致的標準。阿里提出的OneID強調(diào)全局統(tǒng)一的對象ID(例如用戶ID)，就屬于這個機制。
3. 自助的、多租戶的數(shù)據(jù)應用開發(fā)及發(fā)布
現(xiàn)有的絕大部分大數(shù)據(jù)平臺要求使用者具備一定的編程能力。數(shù)據(jù)中臺強調(diào)的是為業(yè)務部門賦能，而業(yè)務人員需要有一個自助的、可適應不同水平和能力要求的開發(fā)平臺。這個開發(fā)平臺要能夠保證數(shù)據(jù)隔離和資源隔離，這樣任何一個使用系統(tǒng)的人都不用擔心自己會對系統(tǒng)造成損害。
4. 數(shù)據(jù)應用運維
用戶應該可以很方便地將自己開發(fā)的數(shù)據(jù)應用自助發(fā)布到生產(chǎn)系統(tǒng)中，而無須經(jīng)過專門的數(shù)據(jù)團隊。因為我們需要共享這些應用及其產(chǎn)生的數(shù)據(jù)，所以需要有類似于CI/CD的專門系統(tǒng)來管理應用的代碼質(zhì)量和進行版本控制。
在數(shù)據(jù)應用運行過程中產(chǎn)生的數(shù)據(jù)也需要全程監(jiān)控，以保證數(shù)據(jù)的完整性、正確性和實時性。
5. 數(shù)據(jù)應用集成
應該可以隨時集成新的數(shù)據(jù)應用。新的大數(shù)據(jù)應用、人工智能工具不斷涌現(xiàn)，我們的系統(tǒng)應該能夠隨時支持這些新應用。如果數(shù)據(jù)中臺不能支持這些應用，各個業(yè)務部門可能又會打造自己的小集群，造成新的數(shù)據(jù)孤島及應用孤島。
6. 數(shù)據(jù)即服務，模型即服務
數(shù)據(jù)分析的結(jié)果，不管是統(tǒng)計分析的結(jié)果，還是機器學習生成的模型，應該能夠很快地使用無代碼的方式發(fā)布，并供全機構(gòu)使用。
7. 數(shù)據(jù)能力共享管理
大部分數(shù)據(jù)能力應當具有完善的共享管理機制、方便安全的共享機制以及靈活的反饋機制。最后決定數(shù)據(jù)如何使用的是獨立的個人，他們需要一套獲取信息的機制，因此在機構(gòu)內(nèi)部必須要有這樣的共享機制，才能真正讓數(shù)據(jù)用起來。
8. 完善的運營指標
數(shù)據(jù)中臺強調(diào)的是可衡量的數(shù)據(jù)價值，因此，對于數(shù)據(jù)在系統(tǒng)中的使用方式、被使用的頻率、最后產(chǎn)生的效果，必須要有一定的運營指標，才能驗證數(shù)據(jù)的價值和數(shù)據(jù)中臺項目的效率。
綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認為數(shù)據(jù)中臺還應該滿足以下兩個要求。
1. TotalPlatform
所有中臺數(shù)據(jù)及相關的應用應該在統(tǒng)一平臺中統(tǒng)一管理。如果有數(shù)據(jù)存儲在中臺管理不到的地方，或者有人在中臺未知的情況下使用數(shù)據(jù)，我們就無法真正實現(xiàn)對數(shù)據(jù)的全局管理。這要求數(shù)據(jù)中臺能快速支持新的數(shù)據(jù)格式和數(shù)據(jù)應用，便于數(shù)據(jù)工具的共享，而無須建立一個分離的系統(tǒng)。
2. TotalInsight
數(shù)據(jù)中臺應該能夠理解并管理系統(tǒng)中數(shù)據(jù)的流動，提供數(shù)據(jù)價值的定量衡量，明確各個部門的花費和產(chǎn)出。整個中臺的運營是有序可控的，而不是一個黑盒子，用戶可以輕松理解全局的數(shù)據(jù)資產(chǎn)和能力，從系統(tǒng)中快速實現(xiàn)數(shù)據(jù)變現(xiàn)。
如圖1-3所示，數(shù)據(jù)中臺可以說是按照一定的規(guī)范要求建設的數(shù)據(jù)能力平臺，在數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、數(shù)據(jù)服務、數(shù)據(jù)應用的建設中實現(xiàn)了符合OneID、OneModel、OneService的數(shù)據(jù)層。
這個數(shù)據(jù)層，加上在其上建立的業(yè)務能力層以及運營這個數(shù)據(jù)中臺需要的TotalPlatform、TotalInsight，形成我們看到的數(shù)據(jù)中臺。
▲圖1-3 數(shù)據(jù)中臺的五大要求
關于作者：彭鋒，智領云科技聯(lián)合創(chuàng)始人兼CEO。武漢大學計算機系本科及碩士，美國馬里蘭大學計算機專業(yè)博士，主要研究方向是流式半結(jié)構(gòu)化數(shù)據(jù)的高性能查詢引擎，在數(shù)據(jù)庫頂級會議和期刊SIGMOD、ICDE、TODS上發(fā)表多篇開創(chuàng)性論文。2011年加入Twitter，任大數(shù)據(jù)平臺主任工程師、公司架構(gòu)師委員會大數(shù)據(jù)負責人，負責公司大數(shù)據(jù)平臺及流水線的建設和管理。
宋文欣，智領云科技聯(lián)合創(chuàng)始人兼CTO。武漢大學計算機系本科及碩士，美國紐約州立大學石溪分校計算機專業(yè)博士。曾先后就職于Ask.com和EA(電子藝界)。2016年回國聯(lián)合創(chuàng)立智領云科技有限公司，組建智領云技術(shù)團隊，開發(fā)了BDOS大數(shù)據(jù)平臺操作系統(tǒng)。
孫浩峰，智領云科技市場總監(jiān)。前CSDN內(nèi)容運營副總編，關注云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù)領域，對云計算、網(wǎng)絡技術(shù)、網(wǎng)絡存儲有深刻認識。擁有豐富的媒體從業(yè)經(jīng)驗和專業(yè)的網(wǎng)絡安全技術(shù)功底，具有超過15年的企業(yè)級IT市場傳播、推廣、宣傳和寫作經(jīng)驗，撰寫過多篇在業(yè)界具有一定影響力的文章。
本文摘編自《云原生數(shù)據(jù)中臺：架構(gòu)、方法論與實踐》，經(jīng)出版方授權(quán)發(fā)布。
分享標題：數(shù)據(jù)中臺與傳統(tǒng)大數(shù)據(jù)平臺有什么區(qū)別？終于有人講明白了
標題路徑：http://m.5511xx.com/article/coejope.html
