建站
咨詢
售后
建站咨詢
新聞中心
這篇文章，給大家聊聊一個百萬級并發(fā)的中間件系統(tǒng)的內(nèi)核代碼里的鎖性能優(yōu)化。
創(chuàng)新互聯(lián)公司一直在為企業(yè)提供服務(wù)，多年的磨煉，使我們在創(chuàng)意設(shè)計，成都全網(wǎng)營銷到技術(shù)研發(fā)擁有了開發(fā)經(jīng)驗。我們擅長傾聽企業(yè)需求，挖掘用戶對產(chǎn)品需求服務(wù)價值，為企業(yè)制作有用的創(chuàng)意設(shè)計體驗。核心團(tuán)隊擁有超過10多年以上行業(yè)經(jīng)驗，涵蓋創(chuàng)意，策化，開發(fā)等專業(yè)領(lǐng)域，公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)服務(wù)器托管、成都APP應(yīng)用開發(fā)、手機(jī)移動建站、網(wǎng)頁設(shè)計、網(wǎng)絡(luò)整合營銷。
很多同學(xué)都對Java并發(fā)編程很感興趣，學(xué)習(xí)了很多相關(guān)的技術(shù)和知識。比如volatile、Atomic、synchronized底層、讀寫鎖、AQS、并發(fā)包下的集合類、線程池，等等。
一、對Java并發(fā)仍停留在理論階段
很多同學(xué)對Java并發(fā)編程的知識，可能看了很多的書，也通過不少視頻課程進(jìn)行了學(xué)習(xí)。
但是，大部分人可能還是停留在理論的底層，主要是了解理論，基本對并發(fā)相關(guān)的技術(shù)很少實踐和使用，更很少做過復(fù)雜的中間件系統(tǒng)。
實際上，真正把這些技術(shù)落地到中間件系統(tǒng)開發(fā)中去實踐的時候，是會遇到大量的問題，需要對并發(fā)相關(guān)技術(shù)的底層有深入的理解和掌握。
然后，結(jié)合自己實際的業(yè)務(wù)場景來進(jìn)行對應(yīng)的技術(shù)優(yōu)化、機(jī)制優(yōu)化，才能實現(xiàn)最好的效果。
因此，本文將從筆者曾經(jīng)帶過的一個高并發(fā)中間件項目的內(nèi)核機(jī)制出發(fā)，來看看一個實際的場景中遇到的并發(fā)相關(guān)的問題。
同時，我們也將一步步通過對應(yīng)的偽代碼演進(jìn)，來分析其背后涉及到的并發(fā)的性能優(yōu)化思想和實踐，最后來看看優(yōu)化之后的效果。
二、中間件系統(tǒng)的內(nèi)核機(jī)制：雙緩沖機(jī)制
這個中間件項目整體就不做闡述了，因為涉及核心項目問題。我們僅僅拿其中涉及到的一個內(nèi)核機(jī)制以及對應(yīng)的場景來給大家做一下說明。
其實這個例子是大量的開源中間件系統(tǒng)、大數(shù)據(jù)系統(tǒng)中都有涉及到的一個場景，就是：核心數(shù)據(jù)寫磁盤文件。
比如，大數(shù)據(jù)領(lǐng)域里的hadoop、hbase、elasitcsearch，Java中間件領(lǐng)域里的redis、mq，這些都會涉及到核心數(shù)據(jù)寫磁盤文件的問題。
而很多大型互聯(lián)網(wǎng)公司自研的中年間系統(tǒng)，同樣也會有這個場景。只不過不同的中間件系統(tǒng)，他的作用和目標(biāo)是不一樣的，所以在核心數(shù)據(jù)寫磁盤文件的機(jī)制設(shè)計上，是有一些區(qū)別的。
那么我們公司自研的中間件項目，簡單來說，需要實現(xiàn)的一個效果是：開辟兩塊內(nèi)存空間，也就是經(jīng)典的內(nèi)存雙緩沖機(jī)制。
然后核心數(shù)據(jù)進(jìn)來全部寫第一塊緩沖區(qū)，寫滿了之后，由一個線程進(jìn)行那塊緩沖區(qū)的數(shù)據(jù)批量刷到磁盤文件的工作，其他線程同時可以繼續(xù)寫另外一塊緩沖區(qū)。
我們想要實現(xiàn)的就是這樣的一個效果。這樣的話，一塊緩沖區(qū)刷磁盤的同時，另外一塊緩沖區(qū)可以接受其他線程的寫入，兩不耽誤。核心數(shù)據(jù)寫入是不會斷的，可以持續(xù)不斷的寫入這個中間件系統(tǒng)中。
我們來看看下面的那張圖，也來了解一下這個場景。
如上圖，首先是很多線程需要寫緩沖區(qū)1，然后是緩沖區(qū)1寫滿之后，就會由寫滿的那個線程把緩沖區(qū)1的數(shù)據(jù)刷入磁盤文件，其他線程繼續(xù)寫緩沖區(qū)2。
這樣，數(shù)據(jù)批量刷磁盤和持續(xù)寫內(nèi)存緩沖，兩個事兒就不會耽誤了，這是中間件系統(tǒng)設(shè)計中極為常用的一個機(jī)制，大家看下面的圖。
三、百萬并發(fā)的技術(shù)挑戰(zhàn)
先給大家說一下這個中間件系統(tǒng)的背景：這是一個服務(wù)某個特殊場景下的中間件系統(tǒng)，整體是集群部署。
然后每個實例部署的都是高配置機(jī)器，定位是單機(jī)承載并發(fā)達(dá)到萬級甚至十萬級，整體集群足以支撐百萬級并發(fā)，因此對單機(jī)的寫入性能和吞吐要求極為高。
在超高并發(fā)的要求之下，上圖中的那個內(nèi)核機(jī)制的設(shè)計就顯得尤為重要了。弄的不好，就容易導(dǎo)致寫入并發(fā)性能過差，達(dá)不到上述的要求。
此外在這里多提一句，類似的這種機(jī)制在很多其他的系統(tǒng)里都有涉及。
只不過不同的是，那篇文章是用這個機(jī)制來做MQ集群整體故障時的容災(zāi)降級機(jī)制，跟本文的高并發(fā)中間件系統(tǒng)還有點不太一樣，所以在設(shè)計上考慮的一些細(xì)節(jié)也是不同的。
而且，之前那篇文章的主題是講這種內(nèi)存雙緩沖機(jī)制的一個線上問題：瞬時超高并發(fā)下的系統(tǒng)卡死問題。
四、內(nèi)存數(shù)據(jù)寫入的鎖機(jī)制以及串行化問題
首先我們先考慮第一個問題，你多個線程會并發(fā)寫同一塊內(nèi)存緩沖，這個肯定有問題??！
因為內(nèi)存共享數(shù)據(jù)并發(fā)寫入的時候，必須是要加鎖的，否則必然會有并發(fā)安全問題，導(dǎo)致內(nèi)存數(shù)據(jù)錯亂。
所以在這里，我們寫了下面的偽代碼，先考慮一下線程如何寫入內(nèi)存緩沖。
好了，這行代碼弄好之后，對應(yīng)著下面的這幅圖，大家看一下。
看到這里，就遇到了Java并發(fā)的第一個性能問題了，你要知道高并發(fā)場景下，大量線程會并發(fā)寫內(nèi)存的，你要是直接這樣加一個鎖，必然會導(dǎo)致所有線程都是串行化。
即一個線程加鎖，寫數(shù)據(jù)，然后釋放鎖。接著下一個線程干同樣的事情。這種串行化必然導(dǎo)致系統(tǒng)整體的并發(fā)性能和吞吐量會大幅度降低的。
五、內(nèi)存緩沖分片機(jī)制+分段枷鎖機(jī)制
因此在這里必須要對內(nèi)存雙緩沖機(jī)制引入分段加鎖機(jī)制，也就是將內(nèi)存緩沖切分為多個分片，每個內(nèi)存緩沖分片就對應(yīng)一個鎖。
這樣的話，你完全可以根據(jù)自己的系統(tǒng)壓測結(jié)果，調(diào)整內(nèi)存分片數(shù)量，提升鎖的數(shù)量，進(jìn)而允許大量線程高并發(fā)寫入內(nèi)存。
我們看下面的偽代碼，對這塊就實現(xiàn)了內(nèi)存緩沖分片機(jī)制：
好！我們再來看看，目前為止的圖是什么樣子的：
這里因為每個線程僅僅就是加鎖，寫內(nèi)存，然后釋放鎖。
所以，每個線程持有鎖的時間是很短很短的，單個內(nèi)存分片的并發(fā)寫入經(jīng)過壓測，達(dá)到每秒幾百甚至上千是沒問題的，因此線上系統(tǒng)我們是單機(jī)開辟幾十個到上百個內(nèi)存緩沖分片的。
經(jīng)過壓測，這足以支撐每秒數(shù)萬的并發(fā)寫入，如果將機(jī)器資源使用的極限，每秒十萬并發(fā)也是可以支持的。
六、緩沖區(qū)寫滿時的雙緩沖交換
那么當(dāng)一塊緩沖區(qū)寫滿的時候，是不是就必須要交換兩塊緩沖區(qū)？接著需要有一個線程來將寫滿的緩沖區(qū)數(shù)據(jù)刷寫到磁盤文件中？
此時的偽代碼，大家考慮一下，是不是如下所示：
同樣，我們通過下面的圖來看看這個機(jī)制的實現(xiàn)：
七、且慢！刷寫磁盤不是會導(dǎo)致鎖持有時間過長嗎？
且慢，各位同學(xué)，如果按照上面的偽代碼思路，一定會有一個問題：要是一個線程，他獲取了鎖，開始寫內(nèi)存數(shù)據(jù)。
然后，發(fā)現(xiàn)內(nèi)存滿了，接著直接在持有鎖的過程中，還去執(zhí)行數(shù)據(jù)刷磁盤的操作，這樣是有問題的。
要知道，數(shù)據(jù)刷磁盤是很慢的，根據(jù)數(shù)據(jù)的多少，搞不好要幾十毫秒，甚至幾百毫秒。
這樣的話，豈不是一個線程會持有鎖長達(dá)幾十毫秒，甚至幾百毫秒？
這當(dāng)然不行了，后面的線程此時都在等待獲取鎖然后寫緩沖區(qū)2，你怎么能一直占有鎖呢？
一旦你按照這個思路來寫代碼，必然導(dǎo)致高并發(fā)場景下，一個線程持有鎖上百毫秒。刷數(shù)據(jù)到磁盤的時候，后續(xù)上百個工作線程全部卡在等待鎖的那個環(huán)節(jié)，啥都干不了，嚴(yán)重的情況下，甚至又會導(dǎo)致系統(tǒng)整體呈現(xiàn)卡死的狀態(tài)。
八、內(nèi)存 + 磁盤并行寫機(jī)制
所以此時正確的并發(fā)優(yōu)化代碼，應(yīng)該是發(fā)現(xiàn)內(nèi)存緩沖區(qū)1滿了，然后就交換兩個緩沖區(qū)。
接著直接就釋放鎖，釋放鎖了之后再由這個線程將數(shù)據(jù)刷入磁盤中，刷磁盤的過程是不會占用鎖的，然后后續(xù)的線程都可以繼續(xù)獲取鎖，快速寫入內(nèi)存，接著釋放鎖。
大家先看看下面的偽代碼的優(yōu)化：
按照上面的偽代碼的優(yōu)化，此時磁盤的刷寫和內(nèi)存的寫入，完全可以并行同時進(jìn)行。
因為這里核心的要點就在于大幅度降低了鎖占用的時間，這是java并發(fā)鎖優(yōu)化的一個非常核心的思路。
大家看下面的圖，一起來感受一下：
九、為什么必須要用雙緩沖機(jī)制？
其實看到這里，大家可能或多或少都體會到了一些雙緩沖機(jī)制的設(shè)計思想了，如果只用單塊內(nèi)存緩沖的話，那么從里面讀數(shù)據(jù)刷入磁盤的過程，也需要占用鎖，而此時想要獲取鎖寫入內(nèi)存緩沖的線程是獲取不到鎖的。
所以假只用單塊緩沖，必然導(dǎo)致讀內(nèi)存數(shù)據(jù)，刷入磁盤的過程，長時間占用鎖。進(jìn)而導(dǎo)致大量線程卡在鎖的獲取上，無法獲取到鎖，然后無法將數(shù)據(jù)寫入內(nèi)存。這就是必須要在這里使用雙緩沖機(jī)制的核心原因。
十、總結(jié)
最后做一下總結(jié)，本文從筆者團(tuán)隊自研的百萬并發(fā)量級中間件系統(tǒng)的內(nèi)核機(jī)制出發(fā)，給大家展示了Java并發(fā)中加鎖的時候：
- 如何利用雙緩沖機(jī)制
- 內(nèi)存緩沖分片機(jī)制
- 分段加鎖機(jī)制
- 磁盤 + 內(nèi)存并行寫入機(jī)制
- 高并發(fā)場景下大幅度優(yōu)化多線程對鎖的串行化爭用問題
- 長時間占用鎖的問題
其實在很多開源的優(yōu)秀中間件系統(tǒng)中，都有很多類似的Java并發(fā)優(yōu)化的機(jī)制，主要就是應(yīng)對高并發(fā)的場景下大幅度的提升系統(tǒng)的并發(fā)性能以及吞吐量。大家如果感興趣，也可以去了解閱讀一下相關(guān)的底層源碼。
網(wǎng)站題目：太強(qiáng)了！這么設(shè)計中間件完美解決了百萬并發(fā)的問題！
文章位置：http://m.5511xx.com/article/cdiiidg.html
