建站
咨詢
售后
建站咨詢
新聞中心
在數(shù)據(jù)庫(kù)和數(shù)據(jù)湖的工作中，有幾個(gè)關(guān)鍵的概念性差異。在這篇文章中，讓我們來(lái)確定其中的一些差異，這些差異在第一眼看到時(shí)可能并不直觀，特別是對(duì)于具有強(qiáng)大關(guān)系型數(shù)據(jù)庫(kù)背景的人來(lái)說(shuō)。
成都創(chuàng)新互聯(lián)是一家專業(yè)提供類烏齊企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、H5場(chǎng)景定制、小程序制作等業(yè)務(wù)。10年已為類烏齊眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。
服務(wù)器是一次性的。數(shù)據(jù)在云中。
解耦存儲(chǔ)和計(jì)算。在談?wù)摂?shù)據(jù)湖時(shí)，這是一個(gè)典型的問(wèn)題。
在傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)(以及最初的基于Hadoop的數(shù)據(jù)湖)中，存儲(chǔ)與計(jì)算服務(wù)器緊密結(jié)合。服務(wù)器要么有內(nèi)置的存儲(chǔ)，要么直接連接到存儲(chǔ)。
在現(xiàn)代基于云的數(shù)據(jù)湖架構(gòu)中，數(shù)據(jù)存儲(chǔ)和計(jì)算是獨(dú)立的。數(shù)據(jù)被保存在云對(duì)象存儲(chǔ)(例如：AWS S3、Azure Storage)中，通常是以一種開放的格式，如parquet，而計(jì)算服務(wù)器是無(wú)狀態(tài)的，它們可以在必要時(shí)啟動(dòng)/關(guān)閉。
擁有一個(gè)解耦的存儲(chǔ)和計(jì)算使。
降低計(jì)算成本。服務(wù)器在必要時(shí)運(yùn)行。當(dāng)不使用時(shí)，它們可以被關(guān)閉，從而降低了計(jì)算成本。
可擴(kuò)展性。你不必為高峰期的使用而購(gòu)置硬件。服務(wù)器/中央處理器/內(nèi)存的數(shù)量可以根據(jù)當(dāng)前的使用情況動(dòng)態(tài)地增加/減少。
沙盒化。相同的數(shù)據(jù)可以被多個(gè)計(jì)算服務(wù)器/集群同時(shí)讀取。這使得你可以讓多個(gè)團(tuán)隊(duì)在不同的集群中并行工作，讀取相同的數(shù)據(jù)，而不影響彼此。
RAW數(shù)據(jù)才是王道!策劃的數(shù)據(jù)只是衍生的。
在數(shù)據(jù)庫(kù)范式中，來(lái)自源系統(tǒng)的數(shù)據(jù)被轉(zhuǎn)化并加載到數(shù)據(jù)庫(kù)表中后，它就不再有用了。在數(shù)據(jù)湖范式中，RAW數(shù)據(jù)被保留為真理的源泉，最終永遠(yuǎn)保留，因?yàn)樗钦嬲馁Y產(chǎn)。
然而，RAW數(shù)據(jù)通常不適合商業(yè)用戶的消費(fèi)，因此它要經(jīng)過(guò)一個(gè)策劃過(guò)程，以提高其質(zhì)量，提供結(jié)構(gòu)并方便消費(fèi)。經(jīng)過(guò)整理的數(shù)據(jù)最終被儲(chǔ)存起來(lái)，供數(shù)據(jù)科學(xué)團(tuán)隊(duì)、數(shù)據(jù)倉(cāng)庫(kù)、報(bào)告系統(tǒng)以及業(yè)務(wù)用戶的一般消費(fèi)使用。
典型的數(shù)據(jù)湖消費(fèi)者只看到策劃過(guò)的數(shù)據(jù)，因此他們對(duì)策劃過(guò)的數(shù)據(jù)的重視程度遠(yuǎn)遠(yuǎn)超過(guò)產(chǎn)生這些數(shù)據(jù)的RAW數(shù)據(jù)。
然而，數(shù)據(jù)湖的真正資產(chǎn)是RAW數(shù)據(jù)(連同策展管道)，從某種意義上說(shuō)，策展的數(shù)據(jù)類似于一個(gè)可以隨時(shí)刷新的物化視圖。
主要收獲：
可以在任何時(shí)候從RAW中重新創(chuàng)建。
可以通過(guò)改進(jìn)策展過(guò)程來(lái)重新創(chuàng)建。
我們可以有多個(gè)策劃好的視圖，每個(gè)視圖都用于特定的分析。
今天做出的模式?jīng)Q定不會(huì)制約未來(lái)的需求
通常情況下，信息需求會(huì)發(fā)生變化，一些原先沒有從源頭/運(yùn)營(yíng)系統(tǒng)中收集的信息需要被分析。
在一個(gè)典型的情況下，如果原始的RAW數(shù)據(jù)沒有被存儲(chǔ)，歷史數(shù)據(jù)就會(huì)永遠(yuǎn)丟失。
然而，在數(shù)據(jù)湖架構(gòu)中，今天決定不把某個(gè)字段加載到策劃的模式中，以后可以推翻，因?yàn)樗械脑敿?xì)信息都安全地存儲(chǔ)在數(shù)據(jù)湖的RAW區(qū)域，歷史策劃的數(shù)據(jù)可以用額外的字段重新創(chuàng)建。
主要收獲：
如果你現(xiàn)在不需要，就不要花大量的時(shí)間去創(chuàng)建一個(gè)通用的一刀切的策劃模式。
迭代地創(chuàng)建一個(gè)策劃的模式，從添加你現(xiàn)在需要的字段開始。
當(dāng)需要額外的字段時(shí)，將它們添加到策展過(guò)程中并重新處理。
最后的思考
數(shù)據(jù)湖不是數(shù)據(jù)庫(kù)的替代品，每種工具都有它的優(yōu)勢(shì)和致命弱點(diǎn)。
將數(shù)據(jù)湖用于OLTP可能是一個(gè)壞主意，就像使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)數(shù)千兆字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)一樣。
我希望這篇文章有助于闡明兩個(gè)系統(tǒng)之間的一些關(guān)鍵設(shè)計(jì)差異。
本文名稱：數(shù)據(jù)庫(kù)和數(shù)據(jù)湖的關(guān)鍵概念性差異
網(wǎng)址分享：http://m.5511xx.com/article/cdsspsh.html
