Kafka如何實(shí)現(xiàn)每秒上百萬的超高并發(fā)寫入？

作者：中華石杉 2019-03-06 09:36:12

開發(fā)

架構(gòu)

開發(fā)工具

Kafka 這篇文章來聊一下 Kafka 的一些架構(gòu)設(shè)計(jì)原理，這也是互聯(lián)網(wǎng)公司面試時(shí)非常高頻的技術(shù)考點(diǎn)。

公司主營(yíng)業(yè)務(wù)：成都做網(wǎng)站、成都網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出海珠免費(fèi)做網(wǎng)站回饋大家。

 這篇文章來聊一下 Kafka 的一些架構(gòu)設(shè)計(jì)原理，這也是互聯(lián)網(wǎng)公司面試時(shí)非常高頻的技術(shù)考點(diǎn)。

Kafka 是高吞吐低延遲的高并發(fā)、高性能的消息中間件，在大數(shù)據(jù)領(lǐng)域有極為廣泛的運(yùn)用。配置良好的 Kafka 集群甚至可以做到每秒幾十萬、上百萬的超高并發(fā)寫入。

那么 Kafka 到底是如何做到這么高的吞吐量和性能的呢?這篇文章我們來詳細(xì)說一下。

頁緩存技術(shù) + 磁盤順序?qū)?/strong>

首先 Kafka 每次接收到數(shù)據(jù)都會(huì)往磁盤上去寫，如下圖所示：

那么在這里我們不禁有一個(gè)疑問了，如果把數(shù)據(jù)基于磁盤來存儲(chǔ)，頻繁的往磁盤文件里寫數(shù)據(jù)，這個(gè)性能會(huì)不會(huì)很差?大家肯定都覺得磁盤寫性能是極差的。

沒錯(cuò)，要是真的跟上面那個(gè)圖那么簡(jiǎn)單的話，那確實(shí)這個(gè)性能是比較差的。

但是實(shí)際上 Kafka 在這里有極為優(yōu)秀和出色的設(shè)計(jì)，就是為了保證數(shù)據(jù)寫入性能，首先 Kafka 是基于操作系統(tǒng)的頁緩存來實(shí)現(xiàn)文件寫入的。

操作系統(tǒng)本身有一層緩存，叫做 Page Cache，是在內(nèi)存里的緩存，我們也可以稱之為 OS Cache，意思就是操作系統(tǒng)自己管理的緩存。

你在寫入磁盤文件的時(shí)候，可以直接寫入這個(gè) OS Cache 里，也就是僅僅寫入內(nèi)存中，接下來由操作系統(tǒng)自己決定什么時(shí)候把 OS Cache 里的數(shù)據(jù)真的刷入磁盤文件中。

僅僅這一個(gè)步驟，就可以將磁盤文件寫性能提升很多了，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫內(nèi)存，不是在寫磁盤，大家看下圖：

接著另外一個(gè)就是 kafka 寫數(shù)據(jù)的時(shí)候，非常關(guān)鍵的一點(diǎn)，它是以磁盤順序?qū)懙姆绞絹韺懙摹?/p>

也就是說，僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。

普通的機(jī)械磁盤如果你要是隨機(jī)寫的話，確實(shí)性能極差，也就是隨便找到文件的某個(gè)位置來寫數(shù)據(jù)。

但是如果你是追加文件末尾按照順序的方式來寫數(shù)據(jù)的話，那么這種磁盤順序?qū)懙男阅芑旧峡梢愿鷮憙?nèi)存的性能本身也是差不多的。

所以大家就知道了，上面那個(gè)圖里，Kafka 在寫數(shù)據(jù)的時(shí)候，一方面基于 OS 層面的 Page Cache 來寫數(shù)據(jù)，所以性能很高，本質(zhì)就是在寫內(nèi)存罷了。

另外一個(gè)，它是采用磁盤順序?qū)懙姆绞?，所以即使?shù)據(jù)刷入磁盤的時(shí)候，性能也是極高的，也跟寫內(nèi)存是差不多的。

基于上面兩點(diǎn)，Kafka 就實(shí)現(xiàn)了寫入數(shù)據(jù)的超高性能。那么大家想想，假如說 Kafka 寫入一條數(shù)據(jù)要耗費(fèi) 1 毫秒的時(shí)間，那么是不是每秒就是可以寫入 1000 條數(shù)據(jù)?

但是假如 Kafka 的性能極高，寫入一條數(shù)據(jù)僅僅耗費(fèi) 0.01 毫秒呢?那么每秒是不是就可以寫入 10 萬條數(shù)據(jù)?

所以要保證每秒寫入幾萬甚至幾十萬條數(shù)據(jù)的核心點(diǎn)，就是盡***可能提升每條數(shù)據(jù)寫入的性能，這樣就可以在單位時(shí)間內(nèi)寫入更多的數(shù)據(jù)量，提升吞吐量。

零拷貝技術(shù)

說完了寫入這塊，再來談?wù)勏M(fèi)這塊。

大家應(yīng)該都知道，從 Kafka 里我們經(jīng)常要消費(fèi)數(shù)據(jù)，那么消費(fèi)的時(shí)候?qū)嶋H上就是要從 Kafka 的磁盤文件里讀取某條數(shù)據(jù)然后發(fā)送給下游的消費(fèi)者，如下圖所示：

那么這里如果頻繁的從磁盤讀數(shù)據(jù)然后發(fā)給消費(fèi)者，性能瓶頸在哪里呢?

假設(shè)要是 Kafka 什么優(yōu)化都不做，就是很簡(jiǎn)單的從磁盤讀數(shù)據(jù)發(fā)送給下游的消費(fèi)者，那么大概過程如下所示：

• 先看看要讀的數(shù)據(jù)在不在 OS Cache 里，如果不在的話就從磁盤文件里讀取數(shù)據(jù)后放入 OS Cache。
• 接著從操作系統(tǒng)的 OS Cache 里拷貝數(shù)據(jù)到應(yīng)用程序進(jìn)程的緩存里，再從應(yīng)用程序進(jìn)程的緩存里拷貝數(shù)據(jù)到操作系統(tǒng)層面的 Socket 緩存里。
• ***從 Socket 緩存里提取數(shù)據(jù)后發(fā)送到網(wǎng)卡，***發(fā)送出去給下游消費(fèi)。