日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間:8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
一篇搞懂TCP、HTTP、Socket、Socket連接池

 前言

創(chuàng)新互聯(lián)建站是專業(yè)的鎮(zhèn)安網(wǎng)站建設(shè)公司,鎮(zhèn)安接單;提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行鎮(zhèn)安網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

? 作為一名開(kāi)發(fā)人員我們經(jīng)常會(huì)聽(tīng)到HTTP協(xié)議、TCP/IP協(xié)議、UDP協(xié)議、Socket、Socket長(zhǎng)連接、Socket連接池等字眼,然而它們之間的關(guān)系、區(qū)別及原理并不是所有人都能理解清楚,這篇文章就從網(wǎng)絡(luò)協(xié)議基礎(chǔ)開(kāi)始到Socket連接池,一步一步解釋他們之間的關(guān)系。

七層網(wǎng)絡(luò)模型

? 首先從網(wǎng)絡(luò)通信的分層模型講起:七層模型,亦稱OSI(Open System Interconnection)模型。自下往上分為:物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層、會(huì)話層、表示層和應(yīng)用層。所有有關(guān)通信的都離不開(kāi)它,下面這張圖片介紹了各層所對(duì)應(yīng)的一些協(xié)議和硬件

通過(guò)上圖,我知道IP協(xié)議對(duì)應(yīng)于網(wǎng)絡(luò)層,TCP、UDP協(xié)議對(duì)應(yīng)于傳輸層,而HTTP協(xié)議對(duì)應(yīng)于應(yīng)用層,OSI并沒(méi)有Socket,那什么是Socket,后面我們將結(jié)合代碼具體詳細(xì)介紹。

TCP和UDP連接

? 關(guān)于傳輸層TCP、UDP協(xié)議可能我們平時(shí)遇見(jiàn)的會(huì)比較多,有人說(shuō)TCP是安全的,UDP是不安全的,UDP傳輸比TCP快,那為什么呢,我們先從TCP的連接建立的過(guò)程開(kāi)始分析,然后解釋UDP和TCP的區(qū)別。

TCP的三次握手和四次分手

? 我們知道TCP建立連接需要經(jīng)過(guò)三次握手,而斷開(kāi)連接需要經(jīng)過(guò)四次分手,那三次握手和四次分手分別做了什么和如何進(jìn)行的。

第一次握手:建立連接??蛻舳税l(fā)送連接請(qǐng)求報(bào)文段,將SYN位置為1,Sequence Number為x;然后,客戶端進(jìn)入SYN_SEND狀態(tài),等待服務(wù)器的確認(rèn);

第二次握手:服務(wù)器收到客戶端的SYN報(bào)文段,需要對(duì)這個(gè)SYN報(bào)文段進(jìn)行確認(rèn),設(shè)置Acknowledgment Number為x+1(Sequence Number+1);同時(shí),自己自己還要發(fā)送SYN請(qǐng)求信息,將SYN位置為1,Sequence Number為y;服務(wù)器端將上述所有信息放到一個(gè)報(bào)文段(即SYN+ACK報(bào)文段)中,一并發(fā)送給客戶端,此時(shí)服務(wù)器進(jìn)入SYN_RECV狀態(tài);

第三次握手:客戶端收到服務(wù)器的SYN+ACK報(bào)文段。然后將Acknowledgment Number設(shè)置為y+1,向服務(wù)器發(fā)送ACK報(bào)文段,這個(gè)報(bào)文段發(fā)送完畢以后,客戶端和服務(wù)器端都進(jìn)入ESTABLISHED狀態(tài),完成TCP三次握手。

完成了三次握手,客戶端和服務(wù)器端就可以開(kāi)始傳送數(shù)據(jù)。以上就是TCP三次握手的總體介紹。通信結(jié)束客戶端和服務(wù)端就斷開(kāi)連接,需要經(jīng)過(guò)四次分手確認(rèn)。

第一次分手:主機(jī)1(可以使客戶端,也可以是服務(wù)器端),設(shè)置Sequence Number和Acknowledgment Number,向主機(jī)2發(fā)送一個(gè)FIN報(bào)文段;此時(shí),主機(jī)1進(jìn)入FIN_WAIT_1狀態(tài);這表示主機(jī)1沒(méi)有數(shù)據(jù)要發(fā)送給主機(jī)2了;

第二次分手:主機(jī)2收到了主機(jī)1發(fā)送的FIN報(bào)文段,向主機(jī)1回一個(gè)ACK報(bào)文段,Acknowledgment Number為Sequence Number加1;主機(jī)1進(jìn)入FIN_WAIT_2狀態(tài);主機(jī)2告訴主機(jī)1,我“同意”你的關(guān)閉請(qǐng)求;

第三次分手:主機(jī)2向主機(jī)1發(fā)送FIN報(bào)文段,請(qǐng)求關(guān)閉連接,同時(shí)主機(jī)2進(jìn)入LAST_ACK狀態(tài);

第四次分手:主機(jī)1收到主機(jī)2發(fā)送的FIN報(bào)文段,向主機(jī)2發(fā)送ACK報(bào)文段,然后主機(jī)1進(jìn)入TIME_WAIT狀態(tài);主機(jī)2收到主機(jī)1的ACK報(bào)文段以后,就關(guān)閉連接;此時(shí),主機(jī)1等待2MSL后依然沒(méi)有收到回復(fù),則證明Server端已正常關(guān)閉,那好,主機(jī)1也可以關(guān)閉連接了。

可以看到一次tcp請(qǐng)求的建立及關(guān)閉至少進(jìn)行7次通信,這還不包過(guò)數(shù)據(jù)的通信,而UDP不需3次握手和4次分手。

TCP和UDP的區(qū)別

 1、TCP是面向鏈接的,雖然說(shuō)網(wǎng)絡(luò)的不安全不穩(wěn)定特性決定了多少次握手都不能保證連接的可靠性,但TCP的三次握手在最低限度上(實(shí)際上也很大程度上保證了)保證了連接的可靠性;而UDP不是面向連接的,UDP傳送數(shù)據(jù)前并不與對(duì)方建立連接,對(duì)接收到的數(shù)據(jù)也不發(fā)送確認(rèn)信號(hào),發(fā)送端不知道數(shù)據(jù)是否會(huì)正確接收,當(dāng)然也不用重發(fā),所以說(shuō)UDP是無(wú)連接的、不可靠的一種數(shù)據(jù)傳輸協(xié)議?!?/p>

 2、也正由于1所說(shuō)的特點(diǎn),使得UDP的開(kāi)銷更小數(shù)據(jù)傳輸速率更高,因?yàn)椴槐剡M(jìn)行收發(fā)數(shù)據(jù)的確認(rèn),所以UDP的實(shí)時(shí)性更好。知道了TCP和UDP的區(qū)別,就不難理解為何采用TCP傳輸協(xié)議的MSN比采用UDP的QQ傳輸文件慢了,但并不能說(shuō)QQ的通信是不安全的,因?yàn)槌绦騿T可以手動(dòng)對(duì)UDP的數(shù)據(jù)收發(fā)進(jìn)行驗(yàn)證,比如發(fā)送方對(duì)每個(gè)數(shù)據(jù)包進(jìn)行編號(hào)然后由接收方進(jìn)行驗(yàn)證啊什么的,即使是這樣,UDP因?yàn)樵诘讓訁f(xié)議的封裝上沒(méi)有采用類似TCP的“三次握手”而實(shí)現(xiàn)了TCP所無(wú)法達(dá)到的傳輸效率。

問(wèn)題

關(guān)于傳輸層我們會(huì)經(jīng)常聽(tīng)到一些問(wèn)題

1.TCP服務(wù)器最大并發(fā)連接數(shù)是多少?

關(guān)于TCP服務(wù)器最大并發(fā)連接數(shù)有一種誤解就是“因?yàn)槎丝谔?hào)上限為65535,所以TCP服務(wù)器理論上的可承載的最大并發(fā)連接數(shù)也是65535”。首先需要理解一條TCP連接的組成部分:客戶端IP、客戶端端口、服務(wù)端IP、服務(wù)端端口。所以對(duì)于TCP服務(wù)端進(jìn)程來(lái)說(shuō),他可以同時(shí)連接的客戶端數(shù)量并不受限于可用端口號(hào),理論上一個(gè)服務(wù)器的一個(gè)端口能建立的連接數(shù)是全球的IP數(shù)*每臺(tái)機(jī)器的端口數(shù)。實(shí)際并發(fā)連接數(shù)受限于linux可打開(kāi)文件數(shù),這個(gè)數(shù)是可以配置的,可以非常大,所以實(shí)際上受限于系統(tǒng)性能。通過(guò)#ulimit -n 查看服務(wù)的最大文件句柄數(shù),通過(guò)ulimit -n xxx 修改 xxx是你想要能打開(kāi)的數(shù)量。也可以通過(guò)修改系統(tǒng)參數(shù): 

 
 
 
 
  1. #vi /etc/security/limits.conf  
  2. *  soft  nofile  65536  
  3. *  hard  nofile  65536 

2.為什么TIME_WAIT狀態(tài)還需要等2MSL后才能返回到CLOSED狀態(tài)?

這是因?yàn)殡m然雙方都同意關(guān)閉連接了,而且握手的4個(gè)報(bào)文也都協(xié)調(diào)和發(fā)送完畢,按理可以直接回到CLOSED狀態(tài)(就好比從SYN_SEND狀態(tài)到ESTABLISH狀態(tài)那樣);但是因?yàn)槲覀儽仨氁傧刖W(wǎng)絡(luò)是不可靠的,你無(wú)法保證你最后發(fā)送的ACK報(bào)文會(huì)一定被對(duì)方收到,因此對(duì)方處于LAST_ACK狀態(tài)下的Socket可能會(huì)因?yàn)槌瑫r(shí)未收到ACK報(bào)文,而重發(fā)FIN報(bào)文,所以這個(gè)TIME_WAIT狀態(tài)的作用就是用來(lái)重發(fā)可能丟失的ACK報(bào)文。

3.TIME_WAIT狀態(tài)還需要等2MSL后才能返回到CLOSED狀態(tài)會(huì)產(chǎn)生什么問(wèn)題

通信雙方建立TCP連接后,主動(dòng)關(guān)閉連接的一方就會(huì)進(jìn)入TIME_WAIT狀態(tài),TIME_WAIT狀態(tài)維持時(shí)間是兩個(gè)MSL時(shí)間長(zhǎng)度,也就是在1-4分鐘,Windows操作系統(tǒng)就是4分鐘。進(jìn)入TIME_WAIT狀態(tài)的一般情況下是客戶端,一個(gè)TIME_WAIT狀態(tài)的連接就占用了一個(gè)本地端口。一臺(tái)機(jī)器上端口號(hào)數(shù)量的上限是65536個(gè),如果在同一臺(tái)機(jī)器上進(jìn)行壓力測(cè)試模擬上萬(wàn)的客戶請(qǐng)求,并且循環(huán)與服務(wù)端進(jìn)行短連接通信,那么這臺(tái)機(jī)器將產(chǎn)生4000個(gè)左右的TIME_WAIT Socket,后續(xù)的短連接就會(huì)產(chǎn)生address already in use : connect的異常,如果使用Nginx作為方向代理也需要考慮TIME_WAIT狀態(tài),發(fā)現(xiàn)系統(tǒng)存在大量TIME_WAIT狀態(tài)的連接,通過(guò)調(diào)整內(nèi)核參數(shù)解決。

 
 
 
 
  1. vi /etc/sysctl.conf 

編輯文件,加入以下內(nèi)容: 

 
 
 
 
  1. net.ipv4.tcp_syncookies = 1  
  2. net.ipv4.tcp_tw_reuse = 1  
  3. net.ipv4.tcp_tw_recycle = 1  
  4. net.ipv4.tcp_fin_timeout = 30 

然后執(zhí)行 /sbin/sysctl -p 讓參數(shù)生效。

net.ipv4.tcp_syncookies = 1 表示開(kāi)啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時(shí),啟用cookies來(lái)處理,可防范少量SYN攻擊,默認(rèn)為0,表示關(guān)閉;

net.ipv4.tcp_tw_reuse = 1 表示開(kāi)啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接,默認(rèn)為0,表示關(guān)閉;

net.ipv4.tcp_tw_recycle = 1 表示開(kāi)啟TCP連接中TIME-WAIT sockets的快速回收,默認(rèn)為0,表示關(guān)閉。

net.ipv4.tcp_fin_timeout 修改系統(tǒng)默認(rèn)的TIMEOUT時(shí)間

HTTP協(xié)議

關(guān)于TCP/IP和HTTP協(xié)議的關(guān)系,網(wǎng)絡(luò)有一段比較容易理解的介紹:“我們?cè)趥鬏敂?shù)據(jù)時(shí),可以只使用(傳輸層)TCP/IP協(xié)議,但是那樣的話,如果沒(méi)有應(yīng)用層,便無(wú)法識(shí)別數(shù)據(jù)內(nèi)容。如果想要使傳輸?shù)臄?shù)據(jù)有意義,則必須使用到應(yīng)用層協(xié)議。應(yīng)用層協(xié)議有很多,比如HTTP、FTP、TELNET等,也可以自己定義應(yīng)用層協(xié)議。

HTTP協(xié)議即超文本傳送協(xié)議(Hypertext Transfer Protocol ),是Web聯(lián)網(wǎng)的基礎(chǔ),也是手機(jī)聯(lián)網(wǎng)常用的協(xié)議之一,WEB使用HTTP協(xié)議作應(yīng)用層協(xié)議,以封裝HTTP文本信息,然后使用TCP/IP做傳輸層協(xié)議將它發(fā)到網(wǎng)絡(luò)上。

由于HTTP在每次請(qǐng)求結(jié)束后都會(huì)主動(dòng)釋放連接,因此HTTP連接是一種“短連接”,要保持客戶端程序的在線狀態(tài),需要不斷地向服務(wù)器發(fā)起連接請(qǐng)求。通常 的做法是即時(shí)不需要獲得任何數(shù)據(jù),客戶端也保持每隔一段固定的時(shí)間向服務(wù)器發(fā)送一次“保持連接”的請(qǐng)求,服務(wù)器在收到該請(qǐng)求后對(duì)客戶端進(jìn)行回復(fù),表明知道 客戶端“在線”。若服務(wù)器長(zhǎng)時(shí)間無(wú)法收到客戶端的請(qǐng)求,則認(rèn)為客戶端“下線”,若客戶端長(zhǎng)時(shí)間無(wú)法收到服務(wù)器的回復(fù),則認(rèn)為網(wǎng)絡(luò)已經(jīng)斷開(kāi)。

下面是一個(gè)簡(jiǎn)單的HTTP Post application/json數(shù)據(jù)內(nèi)容的請(qǐng)求: 

 
 
 
 
  1. POST  HTTP/1.1  
  2. Host: 127.0.0.1:9017  
  3. Content-Type: application/json  
  4. Cache-Control: no-cache  
  5. {"a":"a"} 

關(guān)于Socket(套接字)

現(xiàn)在我們了解到TCP/IP只是一個(gè)協(xié)議棧,就像操作系統(tǒng)的運(yùn)行機(jī)制一樣,必須要具體實(shí)現(xiàn),同時(shí)還要提供對(duì)外的操作接口。就像操作系統(tǒng)會(huì)提供標(biāo)準(zhǔn)的編程接口,比如Win32編程接口一樣,TCP/IP也必須對(duì)外提供編程接口,這就是Socket。現(xiàn)在我們知道,Socket跟TCP/IP并沒(méi)有必然的聯(lián)系。Socket編程接口在設(shè)計(jì)的時(shí)候,就希望也能適應(yīng)其他的網(wǎng)絡(luò)協(xié)議。所以,Socket的出現(xiàn)只是可以更方便的使用TCP/IP協(xié)議棧而已,其對(duì)TCP/IP進(jìn)行了抽象,形成了幾個(gè)最基本的函數(shù)接口。比如create,listen,accept,connect,read和write等等。

不同語(yǔ)言都有對(duì)應(yīng)的建立Socket服務(wù)端和客戶端的庫(kù),下面舉例Nodejs如何創(chuàng)建服務(wù)端和客戶端:

服務(wù)端: 

 
 
 
 
  1. const net = require('net');  
  2. const server = net.createServer();  
  3. server.on('connection', (client) => {  
  4.   client.write('Hi!\n'); // 服務(wù)端向客戶端輸出信息,使用 write() 方法  
  5.   client.write('Bye!\n');  
  6.   //client.end(); // 服務(wù)端結(jié)束該次會(huì)話  
  7. });  
  8. server.listen(9000); 

服務(wù)監(jiān)聽(tīng)9000端口

下面使用命令行發(fā)送http請(qǐng)求和telnet 

 
 
 
 
  1. $ curl http://127.0.0.1:9000  
  2. Bye!  
  3. $telnet 127.0.0.1 9000  
  4. Trying 192.168.1.21...  
  5. Connected to 192.168.1.21.  
  6. Escape character is '^]'.  
  7. Hi!  
  8. Bye!  
  9. Connection closed by foreign host. 

注意到curl只處理了一次報(bào)文。

客戶端 

 
 
 
 
  1. const client = new net.Socket();  
  2. client.connect(9000, '127.0.0.1', function () {  
  3. });  
  4. client.on('data', (chunk) => {  
  5.   console.log('data', chunk.toString())  
  6.   //data Hi!  
  7.   //Bye!  
  8. }); 

Socket長(zhǎng)連接

所謂長(zhǎng)連接,指在一個(gè)TCP連接上可以連續(xù)發(fā)送多個(gè)數(shù)據(jù)包,在TCP連接保持期間,如果沒(méi)有數(shù)據(jù)包發(fā)送,需要雙方發(fā)檢測(cè)包以維持此連接(心跳包),一般需要自己做在線維持。 短連接是指通信雙方有數(shù)據(jù)交互時(shí),就建立一個(gè)TCP連接,數(shù)據(jù)發(fā)送完成后,則斷開(kāi)此TCP連接。比如Http的,只是連接、請(qǐng)求、關(guān)閉,過(guò)程時(shí)間較短,服務(wù)器若是一段時(shí)間內(nèi)沒(méi)有收到請(qǐng)求即可關(guān)閉連接。其實(shí)長(zhǎng)連接是相對(duì)于通常的短連接而說(shuō)的,也就是長(zhǎng)時(shí)間保持客戶端與服務(wù)端的連接狀態(tài)。

通常的短連接操作步驟是:

連接→數(shù)據(jù)傳輸→關(guān)閉連接;

而長(zhǎng)連接通常就是:

連接→數(shù)據(jù)傳輸→保持連接(心跳)→數(shù)據(jù)傳輸→保持連接(心跳)→……→關(guān)閉連接;

什么時(shí)候用長(zhǎng)連接,短連接?

長(zhǎng)連接多用于操作頻繁,點(diǎn)對(duì)點(diǎn)的通訊,而且連接數(shù)不能太多情況,。每個(gè)TCP連接都需要三步握手,這需要時(shí)間,如果每個(gè)操作都是先連接,再操作的話那么處理 速度會(huì)降低很多,所以每個(gè)操作完后都不斷開(kāi),次處理時(shí)直接發(fā)送數(shù)據(jù)包就OK了,不用建立TCP連接。例如:數(shù)據(jù)庫(kù)的連接用長(zhǎng)連接, 如果用短連接頻繁的通信會(huì)造成Socket錯(cuò)誤,而且頻繁的Socket創(chuàng)建也是對(duì)資源的浪費(fèi)。

什么是心跳包為什么需要:

心跳包就是在客戶端和服務(wù)端間定時(shí)通知對(duì)方自己狀態(tài)的一個(gè)自己定義的命令字,按照一定的時(shí)間間隔發(fā)送,類似于心跳,所以叫做心跳包。網(wǎng)絡(luò)中的接收和發(fā)送數(shù)據(jù)都是使用Socket進(jìn)行實(shí)現(xiàn)。但是如果此套接字已經(jīng)斷開(kāi)(比如一方斷網(wǎng)了),那發(fā)送數(shù)據(jù)和接收數(shù)據(jù)的時(shí)候就一定會(huì)有問(wèn)題。可是如何判斷這個(gè)套接字是否還可以使用呢?這個(gè)就需要在系統(tǒng)中創(chuàng)建心跳機(jī)制。其實(shí)TCP中已經(jīng)為我們實(shí)現(xiàn)了一個(gè)叫做心跳的機(jī)制。如果你設(shè)置了心跳,那TCP就會(huì)在一定的時(shí)間(比如你設(shè)置的是3秒鐘)內(nèi)發(fā)送你設(shè)置的次數(shù)的心跳(比如說(shuō)2次),并且此信息不會(huì)影響你自己定義的協(xié)議。也可以自己定義,所謂“心跳”就是定時(shí)發(fā)送一個(gè)自定義的結(jié)構(gòu)體(心跳包或心跳幀),讓對(duì)方知道自己“在線”,以確保鏈接的有效性。

實(shí)現(xiàn):

服務(wù)端: 

 
 
 
 
  1. const net = require('net');  
  2. let clientList = [];  
  3. const heartbeat = 'HEARTBEAT'; // 定義心跳包內(nèi)容確保和平時(shí)發(fā)送的數(shù)據(jù)不會(huì)沖突  
  4. const server = net.createServer();  
  5. server.on('connection', (client) => {  
  6.   console.log('客戶端建立連接:', client.remoteAddress + ':' + client.remotePort);  
  7.   clientList.push(client);  
  8.   client.on('data', (chunk) => {  
  9.     let content = chunk.toString();  
  10.     if (content === heartbeat) {  
  11.       console.log('收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包');  
  12.     } else {  
  13.       console.log('收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù):', content);  
  14.       client.write('服務(wù)端的數(shù)據(jù):' + content);  
  15.     }  
  16.   });  
  17.   client.on('end', () => {  
  18.     console.log('收到客戶端end');  
  19.     clientList.splice(clientList.indexOf(client), 1);  
  20.   });  
  21.   client.on('error', () => {  
  22.     clientList.splice(clientList.indexOf(client), 1);  
  23.   })  
  24. });  
  25. server.listen(9000);  
  26. setInterval(broadcast, 10000); // 定時(shí)發(fā)送心跳包  
  27. function broadcast() {  
  28.   console.log('broadcast heartbeat', clientList.length);  
  29.   let cleanup = []  
  30.   for (let i=0;i
  31.     if (clientList[i].writable) { // 先檢查 sockets 是否可寫(xiě)  
  32.       clientList[i].write(heartbeat);  
  33.     } else {  
  34.       console.log('一個(gè)無(wú)效的客戶端');  
  35.       cleanup.push(clientList[i]); // 如果不可寫(xiě),收集起來(lái)銷毀。銷毀之前要 Socket.destroy() 用 API 的方法銷毀。 
  36.       clientList[i].destroy();  
  37.     }  
  38.   }  
  39.   //Remove dead Nodes out of write loop to avoid trashing loop index  
  40.   for (let i=0; i
  41.     console.log('刪除無(wú)效的客戶端:', cleanup[i].name);  
  42.     clientList.splice(clientList.indexOf(cleanup[i]), 1);  
  43.   }  

服務(wù)端輸出結(jié)果: 

 
 
 
 
  1. 客戶端建立連接: ::ffff:127.0.0.1:57125  
  2. broadcast heartbeat 1  
  3. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:45:15 GMT  
  4. 收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包  
  5. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:45:20 GMT  
  6. broadcast heartbeat 1  
  7. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:45:25 GMT  
  8. 收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包  
  9. 客戶端建立連接: ::ffff:127.0.0.1:57129  
  10. 收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包  
  11. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:46:00 GMT  
  12. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:46:04 GMT  
  13. broadcast heartbeat 2  
  14. 收到客戶端發(fā)過(guò)來(lái)的數(shù)據(jù): Thu, 29 Mar 2018 03:46:05 GMT  
  15. 收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包 

客戶端代碼: 

 
 
 
 
  1. const net = require('net');  
  2. const heartbeat = 'HEARTBEAT';   
  3. const client = new net.Socket();  
  4. client.connect(9000, '127.0.0.1', () => {});  
  5. client.on('data', (chunk) => {  
  6.   let content = chunk.toString();  
  7.   if (content === heartbeat) {  
  8.     console.log('收到心跳包:', content);  
  9.   } else {  
  10.     console.log('收到數(shù)據(jù):', content);  
  11.   }  
  12. });  
  13. // 定時(shí)發(fā)送數(shù)據(jù)  
  14. setInterval(() => {  
  15.   console.log('發(fā)送數(shù)據(jù)', new Date().toUTCString());  
  16.   client.write(new Date().toUTCString());  
  17. }, 5000);  
  18. // 定時(shí)發(fā)送心跳包  
  19. setInterval(function () {  
  20.   client.write(heartbeat);  
  21. }, 10000); 

客戶端輸出結(jié)果: 

 
 
 
 
  1. 發(fā)送數(shù)據(jù) Thu, 29 Mar 2018 03:46:04 GMT  
  2. 收到數(shù)據(jù): 服務(wù)端的數(shù)據(jù):Thu, 29 Mar 2018 03:46:04 GMT  
  3. 收到心跳包: HEARTBEAT  
  4. 發(fā)送數(shù)據(jù) Thu, 29 Mar 2018 03:46:09 GMT  
  5. 收到數(shù)據(jù): 服務(wù)端的數(shù)據(jù):Thu, 29 Mar 2018 03:46:09 GMT  
  6. 發(fā)送數(shù)據(jù) Thu, 29 Mar 2018 03:46:14 GMT  
  7. 收到數(shù)據(jù): 服務(wù)端的數(shù)據(jù):Thu, 29 Mar 2018 03:46:14 GMT  
  8. 收到心跳包: HEARTBEAT  
  9. 發(fā)送數(shù)據(jù) Thu, 29 Mar 2018 03:46:19 GMT  
  10. 收到數(shù)據(jù): 服務(wù)端的數(shù)據(jù):Thu, 29 Mar 2018 03:46:19 GMT  
  11. 發(fā)送數(shù)據(jù) Thu, 29 Mar 2018 03:46:24 GMT  
  12. 收到數(shù)據(jù): 服務(wù)端的數(shù)據(jù):Thu, 29 Mar 2018 03:46:24 GMT  
  13. 收到心跳包: HEARTBEAT 

定義自己的協(xié)議

如果想要使傳輸?shù)臄?shù)據(jù)有意義,則必須使用到應(yīng)用層協(xié)議比如Http、Mqtt、Dubbo等?;赥CP協(xié)議上自定義自己的應(yīng)用層的協(xié)議需要解決的幾個(gè)問(wèn)題:

  1.  心跳包格式的定義及處理
  2.  報(bào)文頭的定義,就是你發(fā)送數(shù)據(jù)的時(shí)候需要先發(fā)送報(bào)文頭,報(bào)文里面能解析出你將要發(fā)送的數(shù)據(jù)長(zhǎng)度
  3.  你發(fā)送數(shù)據(jù)包的格式,是json的還是其他序列化的方式

下面我們就一起來(lái)定義自己的協(xié)議,并編寫(xiě)服務(wù)的和客戶端進(jìn)行調(diào)用:

定義報(bào)文頭格式: length:000000000xxxx; xxxx代表數(shù)據(jù)的長(zhǎng)度,總長(zhǎng)度20,舉例子不嚴(yán)謹(jǐn)。

數(shù)據(jù)表的格式: Json

服務(wù)端: 

 
 
 
 
  1. const net = require('net');  
  2. const server = net.createServer();  
  3. let clientList = [];  
  4. const heartBeat = 'HeartBeat'; // 定義心跳包內(nèi)容確保和平時(shí)發(fā)送的數(shù)據(jù)不會(huì)沖突  
  5. const getHeader = (num) => {  
  6.   return 'length:' + (Array(13).join(0) + num).slice(-13); 
  7. }  
  8. server.on('connection', (client) => {  
  9.   clientclient.name = client.remoteAddress + ':' + client.remotePort  
  10.   // client.write('Hi ' + client.name + '!\n');  
  11.   console.log('客戶端建立連接', client.name);  
  12.   clientList.push(client)  
  13.   let chunks = []; 
  14.   let length = 0;  
  15.   client.on('data', (chunk) => {  
  16.     let content = chunk.toString();  
  17.     console.log("content:", content, content.length);  
  18.     if (content === heartBeat) { 
  19.        console.log('收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包');  
  20.     } else {  
  21.       if (content.indexOf('length:') === 0){  
  22.         length = parseInt(content.substring(7,20));  
  23.         console.log('length', length);  
  24.         chunks =[chunk.slice(20, chunk.length)];  
  25.       } else {  
  26.         chunks.push(chunk);  
  27.       }  
  28.       let heap = Buffer.concat(chunks);  
  29.       console.log('heap.length', heap.length)  
  30.       if (heap.length >= length) {  
  31.         try {  
  32.           console.log('收到數(shù)據(jù)', JSON.parse(heap.toString()));  
  33.           let data = '服務(wù)端的數(shù)據(jù)數(shù)據(jù):' + heap.toString();;  
  34.           let dataBuff =  Buffer.from(JSON.stringify(data));  
  35.           let header = getHeader(dataBuff.length)  
  36.           client.write(header);  
  37.           client.write(dataBuff);  
  38.         } catch (err) {  
  39.           console.log('數(shù)據(jù)解析失敗');  
  40.         }  
  41.       }  
  42.     }  
  43.   })  
  44.   client.on('end', () => {  
  45.     console.log('收到客戶端end');  
  46.     clientList.splice(clientList.indexOf(client), 1);  
  47.   });  
  48.   client.on('error', () => {  
  49.     clientList.splice(clientList.indexOf(client), 1);  
  50.   })  
  51. });  
  52. server.listen(9000);  
  53. setInterval(broadcast, 10000); // 定時(shí)檢查客戶端 并發(fā)送心跳包  
  54. function broadcast() {  
  55.   console.log('broadcast heartbeat', clientList.length);  
  56.   let cleanup = []  
  57.   for(var i=0;i
  58.     if(clientList[i].writable) { // 先檢查 sockets 是否可寫(xiě)  
  59.       // clientList[i].write(heartBeat); // 發(fā)送心跳數(shù)據(jù)  
  60.     } else {  
  61.       console.log('一個(gè)無(wú)效的客戶端')  
  62.       cleanup.push(clientList[i]) // 如果不可寫(xiě),收集起來(lái)銷毀。銷毀之前要 Socket.destroy() 用 API 的方法銷毀。  
  63.       clientList[i].destroy();  
  64.     }  
  65.   } 
  66.   // 刪除無(wú)效的客戶端  
  67.   for(i=0; i
  68.     console.log('刪除無(wú)效的客戶端:', cleanup[i].name);  
  69.     clientList.splice(clientList.indexOf(cleanup[i]), 1)  
  70.   }  

日志打?。?nbsp;

 
 
 
 
  1. 客戶端建立連接 ::ffff:127.0.0.1:50178 
  2.  content: length:0000000000031 20  
  3. length 31  
  4. heap.length 0  
  5. content: "Tue, 03 Apr 2018 06:12:37 GMT" 31  
  6. heap.length 31  
  7. 收到數(shù)據(jù) Tue, 03 Apr 2018 06:12:37 GMT  
  8. broadcast heartbeat 1  
  9. content: HeartBeat 9  
  10. 收到客戶端發(fā)過(guò)來(lái)的一個(gè)心跳包  
  11. content: length:0000000000031"Tue, 03 Apr 2018 06:12:42 GMT" 51  
  12. length 31  
  13. heap.length 31  
  14. 收到數(shù)據(jù) Tue, 03 Apr 2018 06:12:42 GMT 

客戶端 

 
 
 
 
  1. const net = require('net');  
  2. const client = new net.Socket();  
  3. const heartBeat = 'HeartBeat'; // 定義心跳包內(nèi)容確保和平時(shí)發(fā)送的數(shù)據(jù)不會(huì)沖突  
  4. const getHeader = (num) => {  
  5.   return 'length:' + (Array(13).join(0) + num).slice(-13);  
  6. }  
  7. client.connect(9000, '127.0.0.1', function () {});  
  8. let chunks = [];  
  9. let length = 0;  
  10. client.on('data', (chunk) => {  
  11.   let content = chunk.toString(); 
  12.    console.log("content:", content, content.length);  
  13.   if (content === heartBeat) {  
  14.     console.log('收到服務(wù)端發(fā)過(guò)來(lái)的一個(gè)心跳包');  
  15.   } else {  
  16.     if (content.indexOf('length:') === 0){  
  17.       length = parseInt(content.substring(7,20));  
  18.       console.log('length', length);  
  19.       chunks =[chunk.slice(20, chunk.length)];  
  20.     } else {  
  21.       chunks.push(chunk);  
  22.     }  
  23.     let heap = Buffer.concat(chunks);  
  24.     console.log('heap.length', heap.length)  
  25.     if (heap.length >= length) {  
  26.       try {  
  27.         console.log('收到數(shù)據(jù)', JSON.parse(heap.toString()));  
  28.       } catch (err) {  
  29.         console.log('數(shù)據(jù)解析失敗');  
  30.       }  
  31.     }  
  32.   }  
  33. });  
  34. // 定時(shí)發(fā)送數(shù)據(jù)  
  35. setInterval(function () {  
  36.   let data = new Date().toUTCString();  
  37.   let dataBuff =  Buffer.from(JSON.stringify(data));  
  38.   let header =getHeader(dataBuff.length);  
  39.   client.write(header); 
  40.    client.write(dataBuff);  
  41. }, 5000);  
  42. // 定時(shí)發(fā)送心跳包  
  43. setInterval(function () {  
  44.   client.write(heartBeat);  
  45. }, 10000); 

日志打?。?nbsp;

 
 
 
 
  1. content: length:0000000000060 20  
  2. length 60  
  3. heap.length 0  
  4. content: "服務(wù)端的數(shù)據(jù)數(shù)據(jù):\"Tue, 03 Apr 2018 06:12:37 GMT\"" 44  
  5. heap.length 60  
  6. 收到數(shù)據(jù) 服務(wù)端的數(shù)據(jù)數(shù)據(jù):"Tue, 03 Apr 2018 06:12:37 GMT"  
  7. content: length:0000000000060"服務(wù)端的數(shù)據(jù)數(shù)據(jù):\"Tue, 03 Apr 2018 06:12:42 GMT\"" 64  
  8. length 60  
  9. heap.length 60  
  10. 收到數(shù)據(jù) 服務(wù)端的數(shù)據(jù)數(shù)據(jù):"Tue, 03 Apr 2018 06:12:42 GMT" 

客戶端定時(shí)發(fā)送自定義協(xié)議數(shù)據(jù)到服務(wù)端,先發(fā)送頭數(shù)據(jù),在發(fā)送內(nèi)容數(shù)據(jù),另外一個(gè)定時(shí)器發(fā)送心跳數(shù)據(jù),服務(wù)端判斷是心跳數(shù)據(jù),再判斷是不是頭數(shù)據(jù),再是內(nèi)容數(shù)據(jù),然后解析后再發(fā)送數(shù)據(jù)給客戶端。從日志的打印可以看出客戶端先后write header和data數(shù)據(jù),服務(wù)端可能在一個(gè)data事件里面接收到。

這里可以看到一個(gè)客戶端在同一個(gè)時(shí)間內(nèi)處理一個(gè)請(qǐng)求可以很好的工作,但是想象這么一個(gè)場(chǎng)景,如果同一時(shí)間內(nèi)讓同一個(gè)客戶端去多次調(diào)用服務(wù)端請(qǐng)求,發(fā)送多次頭數(shù)據(jù)和內(nèi)容數(shù)據(jù),服務(wù)端的data事件收到的數(shù)據(jù)就很難區(qū)別哪些數(shù)據(jù)是哪次請(qǐng)求的,比如兩次頭數(shù)據(jù)同時(shí)到達(dá)服務(wù)端,服務(wù)端就會(huì)忽略其中一次,而后面的內(nèi)容數(shù)據(jù)也不一定就對(duì)應(yīng)于這個(gè)頭的。所以想復(fù)用長(zhǎng)連接并能很好的高并發(fā)處理服務(wù)端請(qǐng)求,就需要連接池這種方式了。

Socket連接池

什么是Socket連接池,池的概念可以聯(lián)想到是一種資源的集合,所以Socket連接池,就是維護(hù)著一定數(shù)量Socket長(zhǎng)連接的集合。它能自動(dòng)檢測(cè)Socket長(zhǎng)連接的有效性,剔除無(wú)效的連接,補(bǔ)充連接池的長(zhǎng)連接的數(shù)量。從代碼層次上其實(shí)是人為實(shí)現(xiàn)這種功能的類,一般一個(gè)連接池包含下面幾個(gè)屬性:

  1.  空閑可使用的長(zhǎng)連接隊(duì)列
  2.  正在運(yùn)行的通信的長(zhǎng)連接隊(duì)列
  3.  等待去獲取一個(gè)空閑長(zhǎng)連接的請(qǐng)求的隊(duì)列
  4.  無(wú)效長(zhǎng)連接的剔除功能
  5.  長(zhǎng)連接資源池的數(shù)量配置
  6.  長(zhǎng)連接資源的新建功能

場(chǎng)景: 一個(gè)請(qǐng)求過(guò)來(lái),首先去資源池要求獲取一個(gè)長(zhǎng)連接資源,如果空閑隊(duì)列里面有長(zhǎng)連接,就獲取到這個(gè)長(zhǎng)連接Socket,并把這個(gè)Socket移到正在運(yùn)行的長(zhǎng)連接隊(duì)列。如果空閑隊(duì)列里面沒(méi)有,且正在運(yùn)行的隊(duì)列長(zhǎng)度小于配置的連接池資源的數(shù)量,就新建一個(gè)長(zhǎng)連接到正在運(yùn)行的隊(duì)列去,如果正在運(yùn)行的不下于配置的資源池長(zhǎng)度,則這個(gè)請(qǐng)求進(jìn)入到等待隊(duì)列去。當(dāng)一個(gè)正在運(yùn)行的Socket完成了請(qǐng)求,就從正在運(yùn)行的隊(duì)列移到空閑的隊(duì)列,并觸發(fā)等待請(qǐng)求隊(duì)列去獲取空閑資源,如果有等待的情況。

這里簡(jiǎn)單介紹Nodejs的Socket連接池generic-pool模塊的源碼。

主要文件目錄結(jié)構(gòu) 

 
 
 
 
  1. .  
  2. |————lib  ------------------------- 代碼庫(kù)  
  3. | |————DefaultEvictor.js ----------   
  4. | |————Deferred.js ----------------   
  5. | |————Deque.js -------------------   
  6. | |————DequeIterator.js -----------   
  7. | |————DoublyLinkedList.js --------   
  8. | |————DoublyLinkedListIterator.js-   
  9. | |————factoryValidator.js --------   
  10. | |————Pool.js -------------------- 連接池主要代碼  
  11. | |————PoolDefaults.js ------------   
  12. | |————PooledResource.js ----------   
  13. | |————Queue.js ------------------- 隊(duì)列  
  14. | |————ResourceLoan.js ------------   
  15. | |————ResourceRequest.js ---------   
  16. | |————utils.js ------------------- 工具  
  17. |————test ------------------------- 測(cè)試目錄  
  18. |————README.md  ------------------- 項(xiàng)目描述文件  
  19. |————.eslintrc  ------------------- eslint靜態(tài)檢查配置文件  
  20. |————.eslintignore  --------------- eslint靜態(tài)檢查忽略的文件  
  21. |————package.json ----------------- npm包依賴配置 

下面介紹庫(kù)的使用:

初始化連接池 

 
 
 
 
  1. 'use strict';  
  2. const net = require('net');  
  3. const genericPool = require('generic-pool');  
  4. function createPool(conifg) {  
  5.   let options = Object.assign({  
  6.     fifo: true,                             // 是否優(yōu)先使用老的資源  
  7.     priorityRange: 1,                       // 優(yōu)先級(jí)  
  8.     testOnBorrow: true,                     // 是否開(kāi)啟獲取驗(yàn)證  
  9.     // acquireTimeoutMillis: 10 * 1000,     // 獲取的超時(shí)時(shí)間  
  10.     autostart: true,                        // 自動(dòng)初始化和釋放調(diào)度啟用  
  11.     min: 10,                                // 初始化連接池保持的長(zhǎng)連接最小數(shù)量  
  12.     max: 0,                                 // 最大連接池保持的長(zhǎng)連接數(shù)量  
  13.     evictionRunIntervalMillis: 0,           // 資源釋放檢驗(yàn)間隔檢查 設(shè)置了下面幾個(gè)參數(shù)才起效果  
  14.     numTestsPerEvictionRun: 3,              // 每次釋放資源數(shù)量  
  15.     softIdleTimeoutMillis: -1,              // 可用的超過(guò)了最小的min 且空閑時(shí)間時(shí)間 達(dá)到釋放  
  16.     idleTimeoutMillis: 30000                // 強(qiáng)制釋放  
  17.     // maxWaitingClients: 50                // 最大等待 
  18.   }, conifg.options);  
  19.   const factory = {  
  20.     create: function () {  
  21.       return new Promise((resolve, reject) => {  
  22.         let socket = new net.Socket();  
  23.         socket.setKeepAlive(true); 
  24.         socket.connect(conifg.port, conifg.host);  
  25.         // TODO 心跳包的處理邏輯  
  26.         socket.on('connect', () => {  
  27.           console.log('socket_pool', conifg.host, conifg.port, 'connect' );  
  28.           resolve(socket);  
  29.         });  
  30.         socket.on('close', (err) => { // 先end 事件再close事件  
  31.           console.log('socket_pool', conifg.host, conifg.port, 'close', err);  
  32.         });  
  33.         socket.on('error', (err) => {  
  34.           console.log('socket_pool', conifg.host, conifg.port, 'error', err);  
  35.           reject(err); 
  36.         });  
  37.       });  
  38.     },  
  39.     //銷毀連接  
  40.     destroy: function (socket) {  
  41.       return new Promise((resolve) => {  
  42.         socket.destroy(); // 不會(huì)觸發(fā)end 事件 第一次會(huì)觸發(fā)發(fā)close事件 如果有message會(huì)觸發(fā)error事件  
  43.         resolve();  
  44.       });  
  45.     },  
  46.     validate: function (socket) { //獲取資源池校驗(yàn)資源有效性  
  47.       return new Promise((resolve) => {  
  48.         // console.log('socket.destroyed:', socket.destroyed, 'socket.readable:', socket.readable, 'socket.writable:', socket.writable);  
  49.         if (socket.destroyed || !socket.readable || !socket.writable) {  
  50.           return resolve(false);  
  51.         } else {  
  52.           return resolve(true);  
  53.         }  
  54.       });  
  55.     }  
  56.   };  
  57.   const pool = genericPool.createPool(factory, options);  
  58.   pool.on('factoryCreateError', (err) => { // 監(jiān)聽(tīng)新建長(zhǎng)連接出錯(cuò) 讓請(qǐng)求直接返回錯(cuò)誤  
  59.     const clientResourceRequest = pool._waitingClientsQueue.dequeue();  
  60.     if (clientResourceRequest) {  
  61.       clientResourceRequest.reject(err);  
  62.     }  
  63.   });  
  64.   return pool;  
  65. };  
  66. let pool = createPool({  
  67.   port: 9000,  
  68.   host: '127.0.0.1',  
  69.   options: {min: 0, max: 10}  
  70. }); 

使用連接池

下面連接池的使用,使用的協(xié)議是我們之前自定義的協(xié)議。 

 
 
 
 
  1. let pool = createPool({  
  2.   port: 9000,  
  3.   host: '127.0.0.1',  
  4.   options: {min: 0, max: 10} 
    本文名稱:一篇搞懂TCP、HTTP、Socket、Socket連接池
    當(dāng)前路徑:http://m.5511xx.com/article/dpceigc.html