建站
咨詢
售后
建站咨詢
新聞中心
大數(shù)據(jù)和區(qū)塊鏈具有一個共同的關(guān)鍵詞：分布式。
成都創(chuàng)新互聯(lián)是一家專業(yè)提供丁青企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為丁青眾多企業(yè)、政府機構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進行中。
分布式的思想讓大數(shù)據(jù)技術(shù)實現(xiàn)了分布式計算和分布式協(xié)同工作，技術(shù)手段也從權(quán)威壟斷轉(zhuǎn)向了去中心化。
而區(qū)塊鏈技術(shù)作為分布式數(shù)據(jù)庫的典型代表，也具有分布式的特點。
兩者在這一點上的統(tǒng)一帶來了融合發(fā)展的可能。
1.分布式：讓大數(shù)據(jù)和區(qū)塊鏈從技術(shù)權(quán)威向去中心化轉(zhuǎn)變
從歷史上的發(fā)展來看，IT技術(shù)發(fā)展呈現(xiàn)出一種集中與分布交替的螺旋式上升的形態(tài)
IT技術(shù)呈現(xiàn)螺旋化上升
在計算機誕生初期，技術(shù)是集中化的，這是因為技術(shù)的限制導(dǎo)致了使用模式只能是一對一的。
為了增加計算機的利用率，行業(yè)公司很快開始部署新的設(shè)計。
IBM公司引入了虛擬化的設(shè)計思想，將一臺大型機在為多個客戶服務(wù)時分割出多個虛擬的小型主機，這是一種十分復(fù)雜的集中式計算。
等進入到小型機和PC時代，雖然使用模式回歸了一對一的模式，但是計算機設(shè)備已經(jīng)分散到了各個地方。
等進入成熟的互聯(lián)網(wǎng)時代，客戶端和服務(wù)器已經(jīng)運用了分布式計算的模式，只不過各個服務(wù)器之間還是分散的，沒有連成網(wǎng)絡(luò)。
進入云計算時代，計算能力又被統(tǒng)一管控起來。
雖然客戶端和服務(wù)器依舊以分布式計算為技術(shù)基礎(chǔ)，但服務(wù)器之間已經(jīng)形成了分布式協(xié)同工作模式。
因為協(xié)同的特點，整體上這應(yīng)該是一種集中式的計算服務(wù)。
到了以云計算為基礎(chǔ)設(shè)施的大數(shù)據(jù)時代，IT技術(shù)中仍舊蘊含著分布式的核心思想。
以現(xiàn)在最常用的分布式計算技術(shù)的代表MapReduce來說，大數(shù)據(jù)需要MapReduce將任務(wù)分解后進行分布式計算，然后將結(jié)果合并。
分布式的技術(shù)形成了一種去中心化的系統(tǒng)，其中的每個組成部分都是同等重要的。
具有這個特點的區(qū)塊鏈技術(shù)在這一點上也顯得十分突出。從本質(zhì)上看，區(qū)塊鏈是一種去中心化的分布式賬本。
區(qū)塊鏈通過時間順序?qū)⒊掷m(xù)增長的數(shù)據(jù)整理成鏈式數(shù)據(jù)結(jié)構(gòu)，系統(tǒng)中所有節(jié)點共同參與數(shù)據(jù)的記錄。在“分布式”這一理念上，大數(shù)據(jù)和區(qū)塊鏈技術(shù)取得了一致。
而分布式概念的出現(xiàn)，代表了一種從技術(shù)權(quán)威壟斷到去中心化的轉(zhuǎn)變。
在IT方面中的技術(shù)壟斷更加指向具有壟斷性質(zhì)的大型互聯(lián)網(wǎng)公司，假如某家公司掌握了所有互聯(lián)網(wǎng)社交軟件的技術(shù)，那么它就可以將整個社會輿論控制在手中。
普通民眾因為要使用該公司提供的社交軟件，根本無法順利發(fā)出對該公司的質(zhì)疑。
一家公司獨大，甚至掌控了社會輿論，普通民眾失去了發(fā)聲、監(jiān)管的權(quán)利，這顯然是十分不利于社會安定的事情，也違背了互聯(lián)網(wǎng)“網(wǎng)絡(luò)自由”的初衷，各國政府也在反互聯(lián)網(wǎng)技術(shù)壟斷上做出了各種努力。
而當“分布式”的概念出現(xiàn)后，從根本上打破了技術(shù)權(quán)威壟斷的情況，形成了“無中心”的新技術(shù)。
在分布式的系統(tǒng)中，所有參與者享有同等的權(quán)利。大數(shù)據(jù)的各個協(xié)同工作組件缺一不可，互相協(xié)調(diào)才能完成工作；
區(qū)塊鏈的各個節(jié)點共同監(jiān)督數(shù)據(jù)，每個節(jié)點都有質(zhì)疑和被質(zhì)疑的過程。
分布式的核心思想讓區(qū)塊鏈和大數(shù)據(jù)都具有了從技術(shù)權(quán)威到去中心化的特點。
區(qū)塊鏈和大數(shù)據(jù)在分布式上的共同點有兩個具體的領(lǐng)域：分布式存儲和分布式計算。
2.分布式存儲：HDFS VS區(qū)塊
分布式存儲是相對集中式存儲而言的。
在傳統(tǒng)的數(shù)據(jù)存儲技術(shù)中，數(shù)據(jù)被集中放置在一個特定的數(shù)據(jù)庫中，就好比用一個籃子裝所有的雞蛋；
而分布式的存儲則利用了多個數(shù)據(jù)庫，共同存儲數(shù)據(jù)，“雞蛋”被分散在了各個容器中。
在存儲數(shù)據(jù)上，區(qū)塊鏈和大數(shù)據(jù)都采用了分布式存儲的技術(shù)。
區(qū)塊鏈存儲數(shù)據(jù)的基本單元是區(qū)塊，而大數(shù)據(jù)則是Hadoop分布式文件系統(tǒng)（HDFS）。
如果把區(qū)塊鏈看作賬本，區(qū)塊鏈中的區(qū)塊就是賬本中的賬頁。
在比特幣的區(qū)塊鏈中，每一個區(qū)塊都記錄了一段時間內(nèi)比特幣的交易數(shù)據(jù)。
在中本聰創(chuàng)立比特幣時，構(gòu)建了第一個區(qū)塊——創(chuàng)世區(qū)塊。
對于區(qū)塊鏈來說，計算機進入?yún)^(qū)塊鏈中成為一個“區(qū)塊”是沒有什么特殊要求的，只要計算能力夠強，就可以成為一個新的區(qū)塊。
也就是說，這些區(qū)塊的計算機設(shè)備可以出現(xiàn)在地球的各個角落。
那么這些原本分散的設(shè)備是怎么組合在一起形成“區(qū)塊鏈”的呢？
在區(qū)塊鏈的區(qū)塊中，除了“創(chuàng)世區(qū)塊”只有一個ID識別號之外，后續(xù)建立的區(qū)塊都包含兩個ID識別號，一個是屬于自己的，一個是屬于前一個區(qū)塊的。
通過ID號碼之間的指向，區(qū)塊就按照時間順序連成了區(qū)塊鏈。
由于需要應(yīng)對海量且在持續(xù)快速增長的數(shù)據(jù)，大數(shù)據(jù)在數(shù)據(jù)存儲方面則更加注重性價比，實現(xiàn)存儲容量彈性擴張。
HDFS是大數(shù)據(jù)應(yīng)用程序中主要使用的分布式存儲技術(shù)，能夠滿足商用硬件的高性價比的要求，因此在眾多分布式技術(shù)中脫穎而出。
HDFS的特點
1）．低成本
HDFS的分布式存儲服務(wù)是依靠數(shù)百個甚至數(shù)千個服務(wù)器共同工作實現(xiàn)的，這樣一來，在服務(wù)器出現(xiàn)故障時就只需要單獨維修這一臺機器就可以了。
如果是集中式的大型服務(wù)器，遇到故障的維修成本將要高許多。HDFS系統(tǒng)通過這種方式實現(xiàn)了低成本的目標。
2）．高容錯
由于HDFS是眾多服務(wù)器協(xié)同工作，共同實現(xiàn)分布存儲，HDFS給每個數(shù)據(jù)文件都準備了兩個冗余備份，保證每個數(shù)據(jù)文件被存儲三次。
這樣即使某臺服務(wù)器出現(xiàn)故障，HDFS也可以在備份數(shù)據(jù)的幫助下繼續(xù)進行工作。
所以HDFS允許機器發(fā)生故障，具有高容錯的特點。
3）．高吞吐
HDFS的訪問模型是“一次寫入多次讀寫”式的，只能夠在結(jié)尾追加描述數(shù)據(jù)的變動而不允許直接修改文件。
這樣就簡化了保證數(shù)據(jù)一致性的流程，實現(xiàn)了高吞吐的數(shù)據(jù)訪問。
雖然區(qū)塊鏈和大數(shù)據(jù)在存儲數(shù)據(jù)的實現(xiàn)技術(shù)上采用了不同的方式，但不能否認它們都是基于“分布式”的思想出發(fā)的：通過利用多個計算機，實現(xiàn)數(shù)據(jù)的分布式存儲。
這樣的存儲方式讓大數(shù)據(jù)技術(shù)有能力應(yīng)對龐大的數(shù)據(jù)量，也讓區(qū)塊鏈實現(xiàn)了去中心化的共治。
3.分布式計算：MapReduce VS共識機制
分布式計算是一種新的計算方式，是指兩個或多個軟件之間互相共享信息，合作計算。
分布式計算方式不要求這些軟件在一臺計算機上運行，可以在多臺計算機上通過網(wǎng)絡(luò)連接共同運算。
簡單點來說，分布式計算就是將大量的數(shù)據(jù)分割成多個較小的單元，分派給多臺計算機分工計算，最后將所有結(jié)果進行匯總。
這種計算方式是云計算的技術(shù)基礎(chǔ)，對數(shù)據(jù)海量的大數(shù)據(jù)計算來說意義重大，因為創(chuàng)造一個算力足以應(yīng)對PB級別的計算機幾乎是不可能的。
分布式計算的理論在很早以前就已經(jīng)有科研人員在研究，但實踐方案并不多，也沒有得到廣泛應(yīng)用。
直到谷歌公布了MapReduce之后，分布式計算的應(yīng)用才開始得到廣泛關(guān)注。
在大數(shù)據(jù)領(lǐng)域，分布式計算的成功案例就有MapReduce。
MapReduce是云計算的核心技術(shù)，適用于大規(guī)模數(shù)據(jù)集（大于1 TB）的并行運算，在大數(shù)據(jù)的分布式運算中具有良好的表現(xiàn)。
同時MapReduce也是一種簡化的分布式編程技術(shù)，能夠有效提高復(fù)雜問題的并行處理效率。
而在區(qū)塊鏈中，分布式計算的思想體現(xiàn)在“共識機制”中。
區(qū)塊鏈的共識機制是區(qū)塊之間達成共識、寫入數(shù)據(jù)的手段，也是防止數(shù)據(jù)篡改的手段。
區(qū)塊鏈的共識機制有多種，比特幣區(qū)塊鏈采用的是“工作量證明”，意味著只有算力超過了51%的記賬區(qū)塊的計算機才有寫入下一筆數(shù)據(jù)的權(quán)利，這也大大降低了篡改交易記錄的可能。
分布式計算的核心在于不同計算機通過信息交換能夠最終達成一致的結(jié)論，區(qū)塊鏈的共識機制也剛好體現(xiàn)了這一點。
除了比特幣區(qū)塊鏈采用的“工作量證明”機制，“唐盛鏈”采用的GEAR協(xié)議也是共識機制的一種。
GEAR協(xié)議是由唐盛（北京）物聯(lián)技術(shù)有限公司自主研發(fā)的共識協(xié)議，由輪轉(zhuǎn)記賬、集體評估和齒輪共識路由三個子協(xié)議組成。
該協(xié)議充分考慮了區(qū)塊鏈上的數(shù)據(jù)結(jié)構(gòu)特點和點對點溝通的信息交流模式，在實現(xiàn)數(shù)據(jù)同步共識時支持多種場景靈活運用。
把大數(shù)據(jù)和區(qū)塊鏈兩者的分布式計算應(yīng)用結(jié)合起來看，會發(fā)現(xiàn)核心特點就在于數(shù)據(jù)的同步共享和負載平衡。
通過分布式計算，數(shù)據(jù)資源在所有的計算機上都有備份，方便實現(xiàn)稀有資源的共享；
也可以降低計算機的運行負載，減小計算機崩潰的可能；
同時還能夠通過調(diào)配，把程序放在最合適的計算機上執(zhí)行。
斯坦福大學(xué)化學(xué)系的戈爾哈姆·理查德·切爾曼教授曾說：“分布式計算將加快整個人類的科學(xué)進程?！?/p>
隨著現(xiàn)代科技的進步，每個學(xué)科的科學(xué)研究都需要進行大量的計算：數(shù)學(xué)家希望得出圓周率的更精確值，生物學(xué)家希望計算機模擬出蛋白質(zhì)的折疊過程，天文學(xué)家希望計算機分析天體軌跡……
人類未來社會的發(fā)展離不開各種數(shù)據(jù)的計算，而分布式計算成功在大數(shù)據(jù)領(lǐng)域和區(qū)塊鏈領(lǐng)域得到實踐應(yīng)用將會對各界產(chǎn)生積極的影響。
無論是MapReduce還是共識機制，都充分展現(xiàn)了分布式計算的獨特優(yōu)點：便宜且高效。
區(qū)塊鏈和大數(shù)據(jù)具有一個共同的關(guān)鍵詞，那就是“分布式”。
兩者在存儲和計算運行的手段上雖然各有千秋，卻都體現(xiàn)了分布式的思想。
通過分布式存儲數(shù)據(jù)，區(qū)塊鏈和大數(shù)據(jù)實現(xiàn)了降低成本和提高系統(tǒng)穩(wěn)定性的目標；
通過分布式計算，區(qū)塊鏈和大數(shù)據(jù)實現(xiàn)了數(shù)據(jù)共享和并行運算以解放計算機壓力的目標。
因為區(qū)塊鏈和大數(shù)據(jù)在分布式思想上具有很多的共同點，兩者的共同發(fā)展也就有了基礎(chǔ)，這也是區(qū)塊鏈能夠在大數(shù)據(jù)領(lǐng)域得到大規(guī)模應(yīng)用的前提條件。
分享文章：區(qū)塊鏈和大數(shù)據(jù)的共同關(guān)鍵詞：分布式
新聞來源：http://m.5511xx.com/article/cdogpgh.html
