建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
高并發(fā)系統(tǒng)各不相同。比如每秒百萬(wàn)并發(fā)的中間件系統(tǒng)、每日百億請(qǐng)求的網(wǎng)關(guān)系統(tǒng)、瞬時(shí)每秒幾十萬(wàn)請(qǐng)求的秒殺大促系統(tǒng)。
他們?cè)趹?yīng)對(duì)高并發(fā)的時(shí)候，因?yàn)橄到y(tǒng)各自特點(diǎn)的不同，所以應(yīng)對(duì)架構(gòu)都是不一樣的。
另外，比如電商平臺(tái)中的訂單系統(tǒng)、商品系統(tǒng)、庫(kù)存系統(tǒng)，在高并發(fā)場(chǎng)景下的架構(gòu)設(shè)計(jì)也是不同的，因?yàn)楸澈蟮臉I(yè)務(wù)場(chǎng)景什么的都不一樣。
最簡(jiǎn)單的系統(tǒng)架構(gòu)
假設(shè)剛剛開(kāi)始你的系統(tǒng)就部署在一臺(tái)機(jī)器上，背后就連接了一臺(tái)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)部署在一臺(tái)服務(wù)器上。
我們甚至可以再現(xiàn)實(shí)點(diǎn)，給個(gè)例子，你的系統(tǒng)部署的機(jī)器是 4 核 8G，數(shù)據(jù)庫(kù)服務(wù)器是 16 核 32G。
此時(shí)假設(shè)你的系統(tǒng)用戶(hù)量總共就 10 萬(wàn)，用戶(hù)量很少，日活用戶(hù)按照不同系統(tǒng)的場(chǎng)景有區(qū)別，我們?nèi)∫粋€(gè)較為客觀的比例，10% 吧，每天活躍的用戶(hù)就 1 萬(wàn)。
按照 28 法則，每天高峰期算它 4 個(gè)小時(shí)，高峰期活躍的用戶(hù)占比達(dá)到 80%，就是 8000 人活躍在 4 小時(shí)內(nèi)。
然后每個(gè)人對(duì)你的系統(tǒng)發(fā)起的請(qǐng)求，我們算他每天是 20 次吧。那么高峰期 8000 人發(fā)起的請(qǐng)求也才 16 萬(wàn)次，平均到 4 小時(shí)內(nèi)的每秒(14400 秒)，每秒也就 10 次請(qǐng)求。
好吧!完全跟高并發(fā)搭不上邊，對(duì)不對(duì)?
然后系統(tǒng)層面每秒是 10 次請(qǐng)求，對(duì)數(shù)據(jù)庫(kù)的調(diào)用每次請(qǐng)求都會(huì)有好幾次數(shù)據(jù)庫(kù)操作的，比如做做 crud 之類(lèi)的。
那么我們?nèi)∫粋€(gè)一次請(qǐng)求對(duì)應(yīng) 3 次數(shù)據(jù)庫(kù)請(qǐng)求吧，那這樣的話(huà)，數(shù)據(jù)庫(kù)層每秒也就 30 次請(qǐng)求，對(duì)不對(duì)?
按照這臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的配置，支撐是絕對(duì)沒(méi)問(wèn)題的。上述描述的系統(tǒng)，用一張圖表示，就是下面這樣：
數(shù)據(jù)庫(kù)分庫(kù)分表 + 讀寫(xiě)分離
假設(shè)此時(shí)用戶(hù)量繼續(xù)增長(zhǎng)，達(dá)到了 1000 萬(wàn)注冊(cè)用戶(hù)，然后每天日活用戶(hù)是 100 萬(wàn)。
那么此時(shí)對(duì)系統(tǒng)層面的請(qǐng)求量會(huì)達(dá)到每秒 1000/s，系統(tǒng)層面，你可以繼續(xù)通過(guò)集群化的方式來(lái)擴(kuò)容，反正前面的負(fù)載均衡層會(huì)均勻分散流量過(guò)去的。
但是，這時(shí)數(shù)據(jù)庫(kù)層面接受的請(qǐng)求量會(huì)達(dá)到 3000/s，這個(gè)就有點(diǎn)問(wèn)題了。
此時(shí)數(shù)據(jù)庫(kù)層面的并發(fā)請(qǐng)求翻了一倍，你一定會(huì)發(fā)現(xiàn)線(xiàn)上的數(shù)據(jù)庫(kù)負(fù)載越來(lái)越高。
每次到了高峰期，磁盤(pán) IO、網(wǎng)絡(luò) IO、內(nèi)存消耗、CPU 負(fù)載的壓力都會(huì)很高，大家很擔(dān)心數(shù)據(jù)庫(kù)服務(wù)器能否抗住。
沒(méi)錯(cuò)，一般來(lái)說(shuō)，對(duì)那種普通配置的線(xiàn)上數(shù)據(jù)庫(kù)，建議就是讀寫(xiě)并發(fā)加起來(lái)，按照上述我們舉例的那個(gè)配置，不要超過(guò) 3000/s。
因?yàn)閿?shù)據(jù)庫(kù)壓力過(guò)大，首先一個(gè)問(wèn)題就是高峰期系統(tǒng)性能可能會(huì)降低，因?yàn)閿?shù)據(jù)庫(kù)負(fù)載過(guò)高對(duì)性能會(huì)有影響。
另外一個(gè)，壓力過(guò)大把你的數(shù)據(jù)庫(kù)給搞掛了怎么辦?
所以此時(shí)你必須得對(duì)系統(tǒng)做分庫(kù)分表 + 讀寫(xiě)分離，也就是把一個(gè)庫(kù)拆分為多個(gè)庫(kù)，部署在多個(gè)數(shù)據(jù)庫(kù)服務(wù)上，這是作為主庫(kù)承載寫(xiě)入請(qǐng)求的。
然后每個(gè)主庫(kù)都掛載至少一個(gè)從庫(kù)，由從庫(kù)來(lái)承載讀請(qǐng)求。
此時(shí)假設(shè)對(duì)數(shù)據(jù)庫(kù)層面的讀寫(xiě)并發(fā)是 3000/s，其中寫(xiě)并發(fā)占到了 1000/s，讀并發(fā)占到了 2000/s。
那么一旦分庫(kù)分表之后，采用兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器上部署主庫(kù)來(lái)支撐寫(xiě)請(qǐng)求，每臺(tái)服務(wù)器承載的寫(xiě)并發(fā)就是 500/s。
每臺(tái)主庫(kù)掛載一個(gè)服務(wù)器部署從庫(kù)，那么 2 個(gè)從庫(kù)每個(gè)從庫(kù)支撐的讀并發(fā)就是 1000/s。
簡(jiǎn)單總結(jié)，并發(fā)量繼續(xù)增長(zhǎng)時(shí)，我們就需要 focus 在數(shù)據(jù)庫(kù)層面：分庫(kù)分表、讀寫(xiě)分離。
此時(shí)的架構(gòu)圖如下所示：
緩存集群引入
接著就好辦了，如果你的注冊(cè)用戶(hù)量越來(lái)越大，此時(shí)你可以不停的加機(jī)器，比如說(shuō)系統(tǒng)層面不停加機(jī)器，就可以承載更高的并發(fā)請(qǐng)求。
然后數(shù)據(jù)庫(kù)層面如果寫(xiě)入并發(fā)越來(lái)越高，就擴(kuò)容加數(shù)據(jù)庫(kù)服務(wù)器，通過(guò)分庫(kù)分表是可以支持?jǐn)U容機(jī)器的，如果數(shù)據(jù)庫(kù)層面的讀并發(fā)越來(lái)越高，就擴(kuò)容加更多的從庫(kù)。
但是這里有一個(gè)很大的問(wèn)題：數(shù)據(jù)庫(kù)其實(shí)本身不是用來(lái)承載高并發(fā)請(qǐng)求的，所以通常來(lái)說(shuō)，數(shù)據(jù)庫(kù)單機(jī)每秒承載的并發(fā)就在幾千的數(shù)量級(jí)，而且數(shù)據(jù)庫(kù)使用的機(jī)器都是比較高配置，比較昂貴的機(jī)器，成本很高。
如果你就是簡(jiǎn)單的不停的加機(jī)器，其實(shí)是不對(duì)的。
所以在高并發(fā)架構(gòu)里通常都有緩存這個(gè)環(huán)節(jié)，緩存系統(tǒng)的設(shè)計(jì)就是為了承載高并發(fā)而生。
所以單機(jī)承載的并發(fā)量都在每秒幾萬(wàn)，甚至每秒數(shù)十萬(wàn)，對(duì)高并發(fā)的承載能力比數(shù)據(jù)庫(kù)系統(tǒng)要高出一到兩個(gè)數(shù)量級(jí)。
所以你完全可以根據(jù)系統(tǒng)的業(yè)務(wù)特性，對(duì)那種寫(xiě)少讀多的請(qǐng)求，引入緩存集群。
具體來(lái)說(shuō)，就是在寫(xiě)數(shù)據(jù)庫(kù)的時(shí)候同時(shí)寫(xiě)一份數(shù)據(jù)到緩存集群里，然后用緩存集群來(lái)承載大部分的讀請(qǐng)求。
這樣的話(huà)，通過(guò)緩存集群，就可以用更少的機(jī)器資源承載更高的并發(fā)。
比如說(shuō)上面那個(gè)圖里，讀請(qǐng)求目前是每秒 2000/s，兩個(gè)從庫(kù)各自抗了 1000/s 讀請(qǐng)求，但是其中可能每秒 1800 次的讀請(qǐng)求都是可以直接讀緩存里的不怎么變化的數(shù)據(jù)的。
那么此時(shí)你一旦引入緩存集群，就可以抗下來(lái)這 1800/s 讀請(qǐng)求，落到數(shù)據(jù)庫(kù)層面的讀請(qǐng)求就 200/s。
同樣，給大家來(lái)一張架構(gòu)圖，一起來(lái)感受一下：
按照上述架構(gòu)，它的好處是什么呢?
可能未來(lái)你的系統(tǒng)讀請(qǐng)求每秒都幾萬(wàn)次了，但是可能 80%~90% 都是通過(guò)緩存集群來(lái)讀的，而緩存集群里的機(jī)器可能單機(jī)每秒都可以支撐幾萬(wàn)讀請(qǐng)求，所以耗費(fèi)機(jī)器資源很少，可能就兩三臺(tái)機(jī)器就夠了。
你要是換成是數(shù)據(jù)庫(kù)來(lái)試一下，可能就要不停的加從庫(kù)到 10 臺(tái)、20 臺(tái)機(jī)器才能抗住每秒幾萬(wàn)的讀并發(fā)，那個(gè)成本是極高的。
好了，我們?cè)賮?lái)簡(jiǎn)單小結(jié)，承載高并發(fā)需要考慮的第三個(gè)點(diǎn)：
- 不要盲目進(jìn)行數(shù)據(jù)庫(kù)擴(kuò)容，數(shù)據(jù)庫(kù)服務(wù)器成本昂貴，且本身就不是用來(lái)承載高并發(fā)的。
- 針對(duì)寫(xiě)少讀多的請(qǐng)求，引入緩存集群，用緩存集群抗住大量的讀請(qǐng)求。
引入消息中間件集群
接著再來(lái)看看數(shù)據(jù)庫(kù)寫(xiě)這塊的壓力，其實(shí)是跟讀類(lèi)似的。
假如說(shuō)你所有寫(xiě)請(qǐng)求全部都落地?cái)?shù)據(jù)庫(kù)的主庫(kù)層，當(dāng)然是沒(méi)問(wèn)題的，但是寫(xiě)壓力要是越來(lái)越大了呢?
比如每秒要寫(xiě)幾萬(wàn)條數(shù)據(jù)，此時(shí)難道也是不停的給主庫(kù)加機(jī)器嗎?
可以當(dāng)然也可以，但是同理，你耗費(fèi)的機(jī)器資源是很大的，這個(gè)就是數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)所決定的。
相同的資源下，數(shù)據(jù)庫(kù)系統(tǒng)太重太復(fù)雜，所以并發(fā)承載能力就在幾千/s的量級(jí)，所以此時(shí)你需要引入別的一些技術(shù)。
比如說(shuō)消息中間件技術(shù)，也就是 MQ 集群，它可以非常好的做寫(xiě)請(qǐng)求異步化處理，實(shí)現(xiàn)削峰填谷的效果。
假如說(shuō)，你現(xiàn)在每秒是 1000/s 次寫(xiě)請(qǐng)求，其中比如 500 次請(qǐng)求是必須請(qǐng)求過(guò)來(lái)立馬寫(xiě)入數(shù)據(jù)庫(kù)中的，但是另外 500 次寫(xiě)請(qǐng)求是可以允許異步化等待個(gè)幾十秒，甚至幾分鐘后才落入數(shù)據(jù)庫(kù)內(nèi)的。
那么此時(shí)你完全可以引入消息中間件集群，把允許異步化的每秒 500 次請(qǐng)求寫(xiě)入 MQ，然后基于 MQ 做一個(gè)削峰填谷。
比如就以平穩(wěn)的 100/s 的速度消費(fèi)出來(lái)，然后落入數(shù)據(jù)庫(kù)中即可，此時(shí)就會(huì)大幅度降低數(shù)據(jù)庫(kù)的寫(xiě)入壓力。
此時(shí)，架構(gòu)圖變成了下面這樣：
大家看上面的架構(gòu)圖，首先消息中間件系統(tǒng)本身也是為高并發(fā)而生，所以通常單機(jī)都是支撐幾萬(wàn)甚至十萬(wàn)級(jí)的并發(fā)請(qǐng)求的。
所以，它本身也跟緩存系統(tǒng)一樣，可以用很少的資源支撐很高的并發(fā)請(qǐng)求，用它來(lái)支撐部分允許異步化的高并發(fā)寫(xiě)入是沒(méi)問(wèn)題的，比使用數(shù)據(jù)庫(kù)直接支撐那部分高并發(fā)請(qǐng)求要減少很多的機(jī)器使用量。
而且經(jīng)過(guò)消息中間件的削峰填谷之后，比如就用穩(wěn)定的 100/s 的速度寫(xiě)數(shù)據(jù)庫(kù)，那么數(shù)據(jù)庫(kù)層面接收的寫(xiě)請(qǐng)求壓力，不就成了 500/s + 100/s = 600/s 了么?
大家看看，是不是發(fā)現(xiàn)減輕了數(shù)據(jù)庫(kù)的壓力?到目前為止，通過(guò)下面的手段，我們已經(jīng)可以讓系統(tǒng)架構(gòu)盡可能用最小的機(jī)器資源抗住了最大的請(qǐng)求壓力，減輕了數(shù)據(jù)庫(kù)的負(fù)擔(dān)：
- 系統(tǒng)集群化。
- 數(shù)據(jù)庫(kù)層面的分庫(kù)分表+讀寫(xiě)分離。
- 針對(duì)讀多寫(xiě)少的請(qǐng)求，引入緩存集群。
- 針對(duì)高寫(xiě)入的壓力，引入消息中間件集群。
初步來(lái)說(shuō)，簡(jiǎn)單的一個(gè)高并發(fā)系統(tǒng)的闡述是說(shuō)完了。但是，故事到這里還遠(yuǎn)遠(yuǎn)沒(méi)有結(jié)束。
首先，高并發(fā)這個(gè)話(huà)題本身是非常復(fù)雜的，遠(yuǎn)遠(yuǎn)不是一些文章可以說(shuō)的清楚的，它的本質(zhì)就在于，真實(shí)的支撐復(fù)雜業(yè)務(wù)場(chǎng)景的高并發(fā)系統(tǒng)架構(gòu)其實(shí)是非常復(fù)雜的。
比如說(shuō)每秒百萬(wàn)并發(fā)的中間件系統(tǒng)、每日百億請(qǐng)求的網(wǎng)關(guān)系統(tǒng)、瞬時(shí)每秒幾十萬(wàn)請(qǐng)求的秒殺大促系統(tǒng)、支撐幾億用戶(hù)的大規(guī)模高并發(fā)電商平臺(tái)架構(gòu)，等等。
為了支撐高并發(fā)請(qǐng)求，在系統(tǒng)架構(gòu)的設(shè)計(jì)時(shí)，會(huì)結(jié)合具體的業(yè)務(wù)場(chǎng)景和特點(diǎn)，設(shè)計(jì)出各種復(fù)雜的架構(gòu)，這需要大量底層技術(shù)支撐，需要精妙的架構(gòu)和機(jī)制設(shè)計(jì)的能力。
最終，各種復(fù)雜系統(tǒng)呈現(xiàn)出來(lái)的架構(gòu)復(fù)雜度會(huì)遠(yuǎn)遠(yuǎn)超出大部分沒(méi)接觸過(guò)的同學(xué)的想象。
但是那么復(fù)雜的系統(tǒng)架構(gòu)，通過(guò)一些文章是很難說(shuō)的清楚里面的各種細(xì)節(jié)以及落地生產(chǎn)的過(guò)程的。
其次，高并發(fā)這話(huà)題本身包含的內(nèi)容也遠(yuǎn)遠(yuǎn)不止本文說(shuō)的這么幾個(gè) topic：分庫(kù)分表、緩存、消息。
一個(gè)完整而復(fù)雜的高并發(fā)系統(tǒng)架構(gòu)中，一定會(huì)包含：
- 各種復(fù)雜的自研基礎(chǔ)架構(gòu)系統(tǒng)。
- 各種精妙的架構(gòu)設(shè)計(jì)(比如熱點(diǎn)緩存架構(gòu)設(shè)計(jì)、多優(yōu)先級(jí)高吞吐 MQ 架構(gòu)設(shè)計(jì)、系統(tǒng)全鏈路并發(fā)性能優(yōu)化設(shè)計(jì)，等等)。
- 還有各種復(fù)雜系統(tǒng)組合而成的高并發(fā)架構(gòu)整體技術(shù)方案。
- 還有 NoSQL(Elasticsearch 等)/負(fù)載均衡/Web 服務(wù)器等相關(guān)技術(shù)。
所以大家切記要對(duì)技術(shù)保持敬畏之心，這些東西都很難通過(guò)一些文章來(lái)表述清楚。
最后，真正在生產(chǎn)落地的時(shí)候，高并發(fā)場(chǎng)景下你的系統(tǒng)會(huì)出現(xiàn)大量的技術(shù)問(wèn)題。
比如說(shuō)消息中間件吞吐量上不去需要優(yōu)化、磁盤(pán)寫(xiě)壓力過(guò)大性能太差、內(nèi)存消耗過(guò)大容易撐爆、分庫(kù)分表中間件不知道為什么丟了數(shù)據(jù)，等等。
標(biāo)題名稱(chēng)：PHP實(shí)戰(zhàn)經(jīng)驗(yàn)之系統(tǒng)如何支撐高并發(fā)
本文地址：http://m.5511xx.com/article/dhooocp.html
