建站
咨詢
售后
建站咨詢
新聞中心
近年來(lái)，隨著大數(shù)據(jù)、等技術(shù)的崛起，數(shù)據(jù)存儲(chǔ)和處理成為了各個(gè)行業(yè)關(guān)注的焦點(diǎn)。作為一種非關(guān)系型數(shù)據(jù)庫(kù)，MongoDB（繁殖自humongous，意為龐大）由于其高效的寫入能力、水平擴(kuò)展以及半結(jié)構(gòu)化等特點(diǎn)享有越來(lái)越廣泛的應(yīng)用。
創(chuàng)新互聯(lián)是專業(yè)的茶陵網(wǎng)站建設(shè)公司，茶陵接單;提供成都網(wǎng)站建設(shè)、成都做網(wǎng)站,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行茶陵網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!
MongoDB的高速寫入能力是其得以廣泛應(yīng)用的關(guān)鍵因素之一，下面就讓我們從多個(gè)角度深入探究MongoDB的寫入性能。
一、MongoDB整體架構(gòu)
MongoDB的底層存儲(chǔ)是基于BSON（Binary ON）的文檔存儲(chǔ)形式，既支持內(nèi)存和非持久化存儲(chǔ)，也支持磁盤和持久化存儲(chǔ)。這使得MongoDB能夠?qū)崿F(xiàn)非常靈活的存儲(chǔ)多種數(shù)據(jù)類型的日志和文檔數(shù)據(jù)。
MongoDB整體架構(gòu)中，主要組件包括：
1.客戶端：與MongoDB進(jìn)行交互的應(yīng)用程序，可以通過(guò)多種語(yǔ)言的驅(qū)動(dòng)程序訪問(wèn)數(shù)據(jù)庫(kù)。
2.MongoDB實(shí)例：一個(gè)可運(yùn)行的MongoDB進(jìn)程，可以在單節(jié)點(diǎn)或多節(jié)點(diǎn)集群環(huán)境中運(yùn)行，負(fù)責(zé)處理客戶端請(qǐng)求和數(shù)據(jù)操作。
3.：一組邏輯上相關(guān)的BSON文檔，對(duì)于中的每個(gè)文檔，有一種數(shù)據(jù)模式稱為文檔模型。
4.文檔：MongoDB最小的數(shù)據(jù)單元，雖然有著多種數(shù)據(jù)類型，但無(wú)需遵循相同的數(shù)據(jù)結(jié)構(gòu)。
5.索引：可用于加速查詢和確保唯一性的數(shù)據(jù)結(jié)構(gòu)，MongoDB提供了各種索引類型，如單鍵索引、組合索引、文本索引、地理位置索引等。
二、MongoDB的寫入性能優(yōu)化
MongoDB的高速寫入性能來(lái)自于其內(nèi)部的一些特性和優(yōu)化手段：
1.預(yù)分配空間
在MongoDB中，對(duì)于文檔的插入和修改，通常是在磁盤上寫入一塊新的空間，但是如果寫入頻率過(guò)高，則可能會(huì)引發(fā)磁盤IO瓶頸。因此，MongoDB采用了一種稱為“預(yù)分配”的機(jī)制，即在執(zhí)行大量寫操作之前，先預(yù)分配一定大小的文件空間，避免在寫操作時(shí)頻繁地申請(qǐng)磁盤空間，從而優(yōu)化了寫入性能。
2.內(nèi)存映射
MongoDB在內(nèi)存映射文件時(shí)，將文件直接映射到內(nèi)存，這樣就可以直接訪問(wèn)內(nèi)存并避免了沒有必要的磁盤IO操作。在使用MMap存儲(chǔ)引擎時(shí)，MongoDB還使用了堆棧式分配機(jī)制，即將內(nèi)存映射文件分片，減少內(nèi)存映射文件時(shí)的內(nèi)存壓力。
3.批量寫入
MongoDB通過(guò)批量寫入機(jī)制，將相鄰的一組文檔數(shù)據(jù)寫入磁盤，以減少磁盤IO操作的數(shù)量，同時(shí)將批量寫入與預(yù)分配機(jī)制結(jié)合使用，避免了大量的文件IO操作，從而提高了寫入速度。
三、MongoDB性能測(cè)試
為了更好地理解MongoDB的寫入性能，我們進(jìn)行了一系列的性能測(cè)試：
1.單節(jié)點(diǎn)寫入性能測(cè)試
我們使用了官方的Java驅(qū)動(dòng)對(duì)MongoDB進(jìn)行單線程和多線程的寫入測(cè)試。在單線程測(cè)試中，寫入速度為1025次/秒，而在使用50個(gè)線程的多線程測(cè)試中，寫入速度達(dá)到了7153次/秒，由此可見，MongoDB具有出色的單節(jié)點(diǎn)寫入性能。
2.多節(jié)點(diǎn)寫入性能測(cè)試
我們?cè)诙喙?jié)點(diǎn)集群環(huán)境下進(jìn)行了多線程寫入性能測(cè)試，測(cè)試結(jié)果顯示，MongoDB的寫入性能可以在多節(jié)點(diǎn)環(huán)境中很好地水平擴(kuò)展，并能夠支持高并發(fā)的寫入請(qǐng)求。在分布式集群中，MongoDB使用了分片機(jī)制來(lái)聚合數(shù)據(jù)，充分利用各節(jié)點(diǎn)的存儲(chǔ)空間，并負(fù)載均衡讀寫請(qǐng)求，從而提高寫入性能。
四、應(yīng)用場(chǎng)景
作為一種快速、高效的非關(guān)系型數(shù)據(jù)庫(kù)，MongoDB廣泛應(yīng)用于多個(gè)領(lǐng)域，例如：
1.流媒體和實(shí)時(shí)分析
對(duì)于流媒體和實(shí)時(shí)分析應(yīng)用，MongoDB采用了可擴(kuò)展的架構(gòu)和高速寫入機(jī)制，能夠快速地讀取和存儲(chǔ)大量數(shù)據(jù)。
2.電子商務(wù)
電子商務(wù)平臺(tái)需要快速地記錄其用戶的交易記錄，并對(duì)這些數(shù)據(jù)進(jìn)行高效地分析，以便預(yù)測(cè)客戶行為和市場(chǎng)趨勢(shì)。MongoDB提供了靈活的數(shù)據(jù)模型和高速寫入機(jī)制，為電商企業(yè)提供了高效且可擴(kuò)展的存儲(chǔ)和分析解決方案。
3.數(shù)據(jù)日志
針對(duì)企業(yè)中各種數(shù)據(jù)日志的需求，MongoDB的非關(guān)系型存儲(chǔ)提供了擴(kuò)展性和快速讀寫能力，可存儲(chǔ)大量的日志數(shù)據(jù)并支持實(shí)時(shí)查詢和分析。
MongoDB具有出色的寫入性能，并且能夠在多節(jié)點(diǎn)集群環(huán)境中水平擴(kuò)展。對(duì)于對(duì)寫入性能和分析速度有高要求的應(yīng)用，MongoDB提供了可擴(kuò)展和高性能的存儲(chǔ)和分析解決方案。而對(duì)于電商、數(shù)據(jù)日志等領(lǐng)域，MongoDB也提供了適用的存儲(chǔ)和分析解決方案。
相關(guān)問(wèn)題拓展閱讀：
- mongodb和mysql5.7的json哪個(gè)更好，優(yōu)缺點(diǎn)比較
- MongoDB 數(shù)據(jù)庫(kù)
mongodb和mysql5.7的json哪個(gè)更好，優(yōu)缺點(diǎn)比較
與關(guān)系型數(shù)據(jù)庫(kù)相比，MongoDB的優(yōu)點(diǎn)：
①弱一致搏胡性（最終一致），更能保證用戶的訪問(wèn)速度：
舉例來(lái)說(shuō)，在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)中，一個(gè)COUNT類型的操作會(huì)鎖定數(shù)據(jù)集，這樣可以保證得到“當(dāng)前”情況下的精確值。這在某些情況下，例 如通過(guò)ATM查看賬戶信息的時(shí)候很重要，但對(duì)于Wordnik來(lái)說(shuō)，數(shù)據(jù)是不斷更新和增長(zhǎng)的，這種“精確”的保證幾乎沒有任何意義，反而會(huì)產(chǎn)生很大的延 遲。他們需要的是一個(gè)“大約”的數(shù)字以及更快的處理速度。
但某些情況下MongoDB會(huì)鎖住數(shù)據(jù)庫(kù)。如果此時(shí)正有數(shù)百個(gè)請(qǐng)求，則它們會(huì)堆積起來(lái)，造成許多問(wèn)題。我們使用了下面的優(yōu)化方式來(lái)避免鎖定：
每次更新前，我們會(huì)先查詢記錄。查詢操作會(huì)將對(duì)象放入內(nèi)存，于是更新則會(huì)盡可能的迅速。在主/從部署方案中，從節(jié)點(diǎn)可以使用“-pretouch”參數(shù)運(yùn)行，這也可以得到相同的效果。
使用多個(gè)mongod進(jìn)程。我們根據(jù)訪問(wèn)模式將數(shù)據(jù)庫(kù)拆分成多個(gè)進(jìn)程。
②文檔結(jié)構(gòu)的存儲(chǔ)方式，能夠更便捷的獲取數(shù)據(jù)。
對(duì)于一個(gè)層級(jí)式的數(shù)據(jù)結(jié)構(gòu)來(lái)說(shuō)，如果要將這樣的數(shù)據(jù)使用扁平式的，表狀的結(jié)構(gòu)來(lái)保存數(shù)據(jù)，這無(wú)論是在查詢還是獲取數(shù)據(jù)時(shí)都十分困難。
舉例1：
就拿一個(gè)“字典項(xiàng)”來(lái)說(shuō)，雖然并不十分復(fù)雜，但還是會(huì)關(guān)系到“定義”、“詞性”、“發(fā)音”或是“引用”等內(nèi)容。大部分工程師會(huì)將這種模型使用關(guān)系型數(shù)據(jù)庫(kù) 中的主鍵和外鍵表現(xiàn)出來(lái)，但把它看作一個(gè)“文檔”而不是“一系列有關(guān)系的表”豈不更好？使用 “dictionary.definition.partOfSpeech=’noun’”來(lái)查詢也比表之間一系列復(fù)雜（往往代價(jià)也很高）的連接查詢方便 且快速。
舉例2：在一個(gè)關(guān)系型數(shù)據(jù)庫(kù)中，一篇博客（包含文章內(nèi)容、評(píng)論、評(píng)論的投票）會(huì)被打散在多張數(shù)據(jù)表中。在MongoDB中，能用一個(gè)文檔來(lái)表示一篇博客， 評(píng)論與投票作為文檔數(shù)組，放在正文主文檔中。這樣數(shù)據(jù)更易于管理，消除了傳統(tǒng)關(guān)系型數(shù)據(jù)運(yùn)謹(jǐn)庫(kù)中影響性能和水平擴(kuò)展性的基悄攔“JOIN”操作。
CODE↓
> db.blogposts.save({ title : “My First Post”, author: {name : “Jane”, id :1},
comments :
{ by : “Ada”, text : “Good post” }>
})
> db.blogposts.find( { “author.name” : “Jane” } )
> db.blogposts.findOne({ title : “My First Post”, “author.name”: “Jane”,
comments :
{ by : “Ada”, text : “Good post” } >
})
> db.blogposts.find( { “comments.by” : “Ada” } )
> db.blogposts.ensureIndex( { “comments.by” : 1 } );
舉例③：
MongoDB是一個(gè)面向文檔的數(shù)據(jù)庫(kù)，目前由10gen開發(fā)并維護(hù)，它的功能豐富，齊全，完全可以替代MySQL。在使用MongoDB做產(chǎn)品原型的過(guò)程中，我們總結(jié)了MonogDB的一些亮點(diǎn)：
使用ON風(fēng)格語(yǔ)法，易于掌握和理解：MongoDB使用ON的變種BSON作為內(nèi)部存儲(chǔ)的格式和語(yǔ)法。針對(duì)MongoDB的操作都使用ON風(fēng)格語(yǔ)法，客戶端提交或接收的數(shù)據(jù)都使用ON形式來(lái)展現(xiàn)。相對(duì)于SQL來(lái)說(shuō)，更加直觀，容易理解和掌握。
Schema-less，支持嵌入子文檔：MongoDB是一個(gè)Schema-free的文檔數(shù)據(jù)庫(kù)。一個(gè)數(shù)據(jù)庫(kù)可以有多個(gè)Collection，每 個(gè)Collection是Documents的。Collection和Document和傳統(tǒng)數(shù)據(jù)庫(kù)的Table和Row并不對(duì)等。無(wú)需事先定義 Collection，隨時(shí)可以創(chuàng)建。
Collection中可以包含具有不同schema的文檔記錄。 這意味著，你上一條記錄中的文檔有3個(gè)屬性，而下一條記錄的文檔可以有10個(gè)屬 性，屬性的類型既可以是基本的數(shù)據(jù)類型（如數(shù)字、字符串、日期等），也可以是數(shù)組或者散列，甚至還可以是一個(gè)子文檔（embed document）。這 樣，可以實(shí)現(xiàn)逆規(guī)范化（denormalizing）的數(shù)據(jù)模型，提高查詢的速度。
③內(nèi)置GridFS，支持大容量的存儲(chǔ)。
GridFS是一個(gè)出色的分布式文件系統(tǒng)，可以支持海量的數(shù)據(jù)存儲(chǔ)。
內(nèi)置了GridFS了MongoDB，能夠滿足對(duì)大數(shù)據(jù)集的快速范圍查詢。
④內(nèi)置Sharding。
提供基于Range的Auto Sharding機(jī)制：一個(gè)collection可按照記錄的范圍，分成若干個(gè)段，切分到不同的Shard上。
Shards可以和復(fù)制結(jié)合，配合Replica sets能夠?qū)崿F(xiàn)Sharding+fail-over，不同的Shard之間可以負(fù)載均衡。查詢是對(duì) 客戶端是透明的?？蛻舳藞?zhí)行查詢，統(tǒng)計(jì)，MapReduce等操作，這些會(huì)被MongoDB自動(dòng)路由到后端的數(shù)據(jù)節(jié)點(diǎn)。這讓我們關(guān)注于自己的業(yè)務(wù)，適當(dāng)?shù)?時(shí)候可以無(wú)痛的升級(jí)。MongoDB的Sharding設(shè)計(jì)能力更大可支持約20 petabytes，足以支撐一般應(yīng)用。
這可以保證MongoDB運(yùn)行在便宜的PC服務(wù)器集群上。PC集群擴(kuò)充起來(lái)非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。
⑤第三方支持豐富。(這是與其他的NoSQL相比，MongoDB也具有的優(yōu)勢(shì))
現(xiàn)在網(wǎng)絡(luò)上的很多NoSQL開源數(shù)據(jù)庫(kù)完全屬于社區(qū)型的，沒有官方支持，給使用者帶來(lái)了很大的風(fēng)險(xiǎn)。
而開源文檔數(shù)據(jù)庫(kù)MongoDB背后有商業(yè)公司10gen為其提供供商業(yè)培訓(xùn)和支持。
而且MongoDB社區(qū)非?；钴S，很多開發(fā)框架都迅速提供了對(duì)MongDB的支持。不少知名大公司和網(wǎng)站也在生產(chǎn)環(huán)境中使用MongoDB，越來(lái)越多的創(chuàng)新型企業(yè)轉(zhuǎn)而使用MongoDB作為和Django，RoR來(lái)搭配的技術(shù)方案。
⑥性能優(yōu)越：
在使用場(chǎng)合下，千萬(wàn)級(jí)別的文檔對(duì)象，近10G的數(shù)據(jù)，對(duì)有索引的ID的查詢不會(huì)比mysql慢，而對(duì)非索引字段的查詢，則是全面勝出。 mysql實(shí)際無(wú)法勝任大數(shù)據(jù)量下任意字段的查詢，而mongodb的查詢性能實(shí)在讓我驚訝。寫入性能同樣很令人滿意，同樣寫入百萬(wàn)級(jí)別的數(shù) 據(jù)，mongodb比我以前試用過(guò)的couchdb要快得多，基本10分鐘以下可以解決。補(bǔ)上一句，觀察過(guò)程中mongodb都遠(yuǎn)算不上是CPU殺手。
與關(guān)系型數(shù)據(jù)庫(kù)相比，MongoDB的缺點(diǎn)：
①mongodb不支持事務(wù)操作。
所以事務(wù)要求嚴(yán)格的系統(tǒng)（如果銀行系統(tǒng)）肯定不能用它。(這點(diǎn)和優(yōu)點(diǎn)①是對(duì)應(yīng)的)
②mongodb占用空間過(guò)大。
關(guān)于其原因，在官方的FAQ中，提到有如下幾個(gè)方面：
1、空間的預(yù)分配：為避免形成過(guò)多的硬盤碎片，mongodb每次空間不足時(shí)都會(huì)申請(qǐng)生成一大塊的硬盤空間，而且申請(qǐng)的量從64M、128M、256M那 樣的指數(shù)遞增，直到2G為單個(gè)文件的更大體積。隨著數(shù)據(jù)量的增加，你可以在其數(shù)據(jù)目錄里看到這些整塊生成容量不斷遞增的文件。
2、字段名所占用的空間：為了保持每個(gè)記錄內(nèi)的結(jié)構(gòu)信息用于查詢，mongodb需要把每個(gè)字段的key-value都以BSON的形式存儲(chǔ)，如果 value域相對(duì)于key域并不大，比如存放數(shù)值型的數(shù)據(jù)，則數(shù)據(jù)的overhead是更大的。一種減少空間占用的方法是把字段名盡量取短一些，這樣占用 空間就小了，但這就要求在易讀性與空間占用上作為權(quán)衡了。我曾建議作者把字段名作個(gè)index，每個(gè)字段名用一個(gè)字節(jié)表示，這樣就不用擔(dān)心字段名取多長(zhǎng) 了。但作者的擔(dān)憂也不無(wú)道理，這種索引方式需要每次查詢得到結(jié)果后把索引值跟原值作一個(gè)替換，再發(fā)送到客戶端，這個(gè)替換也是挺耗費(fèi)時(shí)間的?，F(xiàn)在的實(shí)現(xiàn)算是 拿空間來(lái)?yè)Q取時(shí)間吧。
3、刪除記錄不釋放空間：這很容易理解，為避免記錄刪除后的數(shù)據(jù)的大規(guī)模挪動(dòng)，原記錄空間不刪除，只標(biāo)記“已刪除”即可，以后還可以重復(fù)利用。
MongoDB 數(shù)據(jù)庫(kù)
游戲服務(wù)器開發(fā)中，玩家的賬號(hào)，背包，裝備，物品，排名等數(shù)據(jù)都需要落地存儲(chǔ)在悶者數(shù)據(jù)庫(kù)中。行業(yè)中主流的數(shù)據(jù)庫(kù)當(dāng)屬mysql，優(yōu)點(diǎn)是免費(fèi)開源，從端游時(shí)代過(guò)渡過(guò)來(lái)的程序員，求茄罩耐穩(wěn)保守的話大多數(shù)會(huì)選用mysql數(shù)據(jù)庫(kù)做存儲(chǔ)。但是游戲中要存儲(chǔ)的數(shù)據(jù)表會(huì)經(jīng)常改動(dòng)，導(dǎo)致數(shù)據(jù)庫(kù)的表會(huì)頻繁更新改動(dòng)表結(jié)構(gòu)，如果游戲數(shù)據(jù)量達(dá)到千萬(wàn)級(jí)別，對(duì)所有的表刷新改動(dòng)會(huì)是一項(xiàng)很恐怖的事情，期間如果再出錯(cuò)，運(yùn)維跟開發(fā)人員估計(jì)全都GG。
為了應(yīng)對(duì)方便擴(kuò)展，提升讀寫速度，NoSQL數(shù)據(jù)庫(kù)（非關(guān)系型數(shù)據(jù)庫(kù)）誕生。在NoSQL中應(yīng)用比較廣泛的當(dāng)屬mongodb和redis，由于對(duì)開發(fā)者友好，方便快速開發(fā)迭代高可用復(fù)制集滿足數(shù)據(jù)高可靠、服務(wù)高可用的需求，運(yùn)維簡(jiǎn)單，故障自動(dòng)切換可擴(kuò)展分片集群海量數(shù)據(jù)存儲(chǔ)被游戲服務(wù)器廣泛應(yīng)用?，F(xiàn)在的項(xiàng)目《鹿鼎記》用redis做顫春高速緩存角色列表信息數(shù)據(jù)。
關(guān)于mongodb數(shù)據(jù)庫(kù)寫入速度的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
本文名稱：探究MongoDB數(shù)據(jù)庫(kù)的高速寫入能力(mongodb數(shù)據(jù)庫(kù)寫入速度)
網(wǎng)址分享：http://m.5511xx.com/article/cohjdjo.html
