建站
咨詢
售后
建站咨詢
新聞中心
本文轉(zhuǎn)載自微信公眾號(hào)「程序新視界」，作者二師兄。轉(zhuǎn)載本文請(qǐng)聯(lián)系程序新視界公眾號(hào)。
我們擁有10多年網(wǎng)頁(yè)設(shè)計(jì)和網(wǎng)站建設(shè)經(jīng)驗(yàn)，從網(wǎng)站策劃到網(wǎng)站制作，我們的網(wǎng)頁(yè)設(shè)計(jì)師為您提供的解決方案。為企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、微信平臺(tái)小程序開(kāi)發(fā)、手機(jī)網(wǎng)站開(kāi)發(fā)、H5建站、等業(yè)務(wù)。無(wú)論您有什么樣的網(wǎng)站設(shè)計(jì)或者設(shè)計(jì)方案要求，我們都將富于創(chuàng)造性的提供專業(yè)設(shè)計(jì)服務(wù)并滿足您的需求。
我們通常習(xí)慣用Json、XML等形式的數(shù)據(jù)存儲(chǔ)格式，但相信還有很多人沒(méi)有聽(tīng)說(shuō)過(guò)Protocol Buffer(簡(jiǎn)稱protobuf)。protobuf是Google開(kāi)源的一個(gè)語(yǔ)言無(wú)關(guān)、平臺(tái)無(wú)關(guān)的通信協(xié)議，其小巧、高效和友好的兼容性設(shè)計(jì)，使其被廣泛使用。性能比Json、XML真的強(qiáng)太多了!
而且，隨著微服務(wù)架構(gòu)的流行，RPC框架也成為服務(wù)框架的重要組成部分。在很多RPC的設(shè)計(jì)中，都采用了高性能的編解碼技術(shù)，而protobuf就屬于其中的佼佼者。
也就說(shuō)，要想深入了解微服務(wù)架構(gòu)中的RPC環(huán)節(jié)底層實(shí)現(xiàn)，設(shè)計(jì)出高效的傳輸、序列化、編碼解碼等功能，學(xué)習(xí)protobuf的使用和原理非常有必要。
protobuf簡(jiǎn)介
protobuf是一種序列化對(duì)象框架(或者說(shuō)是編解碼框架)。它有兩部分功能組成：結(jié)構(gòu)化數(shù)據(jù)(數(shù)據(jù)存儲(chǔ)結(jié)構(gòu))和序列化&反序列化。
其中數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的作用與XML、JSON相似;序列化和反序列化的作用與Java自帶的序列化、Facebook的Thrift和JBoss Marshalling等相似。
總之：protobuf是通過(guò)定義結(jié)構(gòu)化數(shù)據(jù)，并提供對(duì)數(shù)據(jù)的序列化和反序列化功能，從而實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)/RPC數(shù)據(jù)交換的功能。
它的特點(diǎn)是：
- 語(yǔ)言無(wú)關(guān)、平臺(tái)無(wú)關(guān)
- 簡(jiǎn)潔
- 高性能(序列化速度快 & 序列化后的數(shù)據(jù)體積小)
- 良好的兼容性
可以通過(guò)數(shù)據(jù)直觀的看一下不同框架在序列化響應(yīng)時(shí)間上的對(duì)比：
protobuf
可以看出，protobuf的性能要遠(yuǎn)高于其他框架。
protobuf的使用流程
上面介紹了protobuf的功能，但僅僅知道這些功能我們無(wú)法知道它是怎么使用的?？戳司W(wǎng)上很多的文章，要么直接開(kāi)始寫(xiě)代碼要么直接開(kāi)始分析報(bào)文格式，對(duì)于新手來(lái)說(shuō)往往會(huì)一頭霧水。
所以，我們先來(lái)梳理一下使用protobuf的步驟。
protobuf
在上圖中將protobuf的使用分了四個(gè)步驟：
- 步驟一，搭建環(huán)境：使用protobuf要定義通信的數(shù)據(jù)結(jié)構(gòu)，并編譯生成不同的編程語(yǔ)言代碼，這就需要有這么一個(gè)編譯器的環(huán)境。
- 步驟二，構(gòu)建數(shù)據(jù)：使用protobuf是要傳輸數(shù)據(jù)的，那么數(shù)據(jù)包含什么，有哪些項(xiàng)目，整個(gè)結(jié)構(gòu)層次是什么樣子的。這里基于protobuf的語(yǔ)法來(lái)進(jìn)行數(shù)據(jù)結(jié)構(gòu)的定義。
- 步驟三，項(xiàng)目集成：集成pom依賴(Java為例)、集成編譯的Java類(lèi)(對(duì)照proto文件);
- 步驟四，具體使用：通過(guò)集成進(jìn)來(lái)的Java類(lèi)，來(lái)構(gòu)建消息、賦值，然后基于protobuf進(jìn)行序列化，接收方進(jìn)行反序列化操作;
了解了上述步驟，下面就針對(duì)具體的步驟來(lái)進(jìn)行實(shí)戰(zhàn)演示。
這里演示基于Mac OS操作系統(tǒng)和Java編程語(yǔ)言來(lái)進(jìn)行操作。如果你使用的是其他操作系統(tǒng)和編程語(yǔ)言，基本思路一樣，在不同的步驟時(shí)可針對(duì)性的找一下具體操作。
安裝Protocol Buffers
安裝protobuf是為了進(jìn)行數(shù)據(jù)結(jié)構(gòu)的定義和對(duì)應(yīng)編程語(yǔ)言代碼的生成。通常有兩種方式：本地安裝和IDE插件。我們先來(lái)看本地安裝。
protobuf的代碼是托管在GitHub上的，對(duì)應(yīng)地址為：https://github.com/protocolbuffers/protobuf 。
點(diǎn)擊項(xiàng)目右邊的release鏈接可看到對(duì)應(yīng)版本：https://github.com/protocolbuffers/protobuf/releases 。
protobuf
這里包含了各種編程語(yǔ)言、環(huán)境的版本。本文選protobuf-java-3.17.3.zip版本。
在Mac操作系統(tǒng)下，需要先安裝一下依賴組件，才能夠?qū)rotobuf進(jìn)行編譯和安裝。
安裝依賴組件：
- // 安裝 Protocol Buffer依賴
- // 注：Protocol Buffer依賴于autoconf、automake、libtool、curl
- brew install autoconf automake libtool curl
解壓protobuf-java-3.17.3.zip，進(jìn)入根目錄，執(zhí)行以下命令：
- // 運(yùn)行autogen.sh腳本
- ./autogen.sh
- // 運(yùn)行configure.sh腳本
- ./configure
- // 編譯未編譯的依賴包
- make
- // 檢查依賴包是否完整
- make check
- // 開(kāi)始安裝Protocol Buffer
- make install
安裝完成，檢驗(yàn)版本：
- $protoc --version
- libprotoc 3.14.0
輸出版本信息，說(shuō)明安裝成功。
這里的protoc命令就是Protocol Buffer的編譯器，可以將 .proto文件編譯成對(duì)應(yīng)平臺(tái)的頭文件和源代碼文件。
另外一種方式就是安裝IDE插件，這里以IDEA為例，搜索插件：
protobuf
關(guān)于protobuf的插件比較多，選擇適合自己就行。
然后gRPC官方推薦了一種更優(yōu)雅的使用姿勢(shì)，可以通過(guò)maven輕松搞定(需安裝上圖中的“Protobuf Support”插件)。也就是引入grpc的一些組件，然后在maven的build中進(jìn)行配置，編譯proto文件成為Java代碼。此種方式暫時(shí)不展開(kāi)，后續(xù)可直接看項(xiàng)目集成部分的源代碼。
構(gòu)建數(shù)據(jù)
在Java中，如果通過(guò)JSON來(lái)傳輸一個(gè)數(shù)據(jù)，我們首先要定義一個(gè)對(duì)象，這里以Person為例：
- public class Person {
- private String name;
- private Integer id;
- // ... getter/setter
- }
那么，如果用protobuf來(lái)定義Person這個(gè)對(duì)象的數(shù)據(jù)結(jié)構(gòu)是什么樣呢?
先創(chuàng)建一個(gè)person.proto文件，然后定義如下的結(jié)構(gòu)：
- syntax = "proto3"; // 聲明為protobuf 3定義文件
- package tutorial;
- option java_package = "com.choupangxia.protobuf.message"; // 聲明生成消息類(lèi)的java包路徑
- option java_outer_classname = "Person"; // 聲明生成消息類(lèi)的類(lèi)名
- message PersonProto {
- string name = 1;
- int32 id = 2;
- }
上面每項(xiàng)語(yǔ)法的具體說(shuō)明可參看注釋部分。當(dāng)然Person的結(jié)構(gòu)可以更豐富，這里只是出于演示需要，做了最簡(jiǎn)單的示例，更多語(yǔ)法可參看官方文檔。
編譯protot文件
定義完成之后，我們可以通過(guò)兩種方式來(lái)生成目標(biāo)Java類(lèi)。這里先采用本機(jī)安裝的編譯器來(lái)進(jìn)行操作。
執(zhí)行protoc命令之前，可先執(zhí)行-h命令來(lái)查看protoc的使用說(shuō)明：
- protoc -h
進(jìn)入person.proto文件所在目錄，執(zhí)行以下命令進(jìn)行編譯：
- protoc --java_out=../java ./person.proto
--java_out參數(shù)指定了Java類(lèi)的輸出路徑，第二個(gè)參數(shù)執(zhí)行的要編譯的文件為當(dāng)前目錄下的person.proto文件。
執(zhí)行命令，會(huì)發(fā)現(xiàn)com.choupangxia.protobuf.message下生成了名為Person的類(lèi)。注意proto中定義的message名稱不要與Java類(lèi)名重復(fù)，否則會(huì)出現(xiàn)命令執(zhí)行失敗的狀況。
對(duì)應(yīng)的Person類(lèi)比較復(fù)雜，甚至有一些語(yǔ)法層面的錯(cuò)誤或改進(jìn)，如果需要，進(jìn)行對(duì)應(yīng)的改進(jìn)優(yōu)化即可。
protobuf
上圖為生成的Person類(lèi)的部分結(jié)構(gòu)。比如上面的java.lang.String getName()這個(gè)方法的返回值就可以進(jìn)行優(yōu)化，不用指定String的package。
項(xiàng)目集成
其實(shí)上面講生成的Person代碼放入項(xiàng)目，已經(jīng)算是項(xiàng)目集成的一部分了。如果未引入protobuf的依賴，上面的代碼還是會(huì)報(bào)錯(cuò)的。
Maven項(xiàng)目的pom文件中添加protobuf依賴：
com.google.protobuf protobuf-java 3.17.3
如果想通過(guò)IDEA直接編譯proto文件，需安裝“Protobuf Support”插件，還需引入grpc的依賴，完整依賴如下：
1.6.1 3.17.3 com.google.protobuf protobuf-java ${protobuf.version} io.grpc grpc-netty ${grpc.version} provided io.grpc grpc-protobuf ${grpc.version} provided io.grpc grpc-stub ${grpc.version} provided kr.motd.maven os-maven-plugin 1.5.0.Final org.xolstice.maven.plugins protobuf-maven-plugin 0.5.0 com.google.protobuf:protoc:${protobuf.version}:exe:${os.detected.classifier} grpc-java io.grpc:protoc-gen-grpc-java:${grpc.version}:exe:${os.detected.classifier} compile compile-custom
在執(zhí)行執(zhí)行maven compile命令進(jìn)行編譯之前，將需要編譯的proto文件放在與src/main/java同級(jí)目錄下的/src/main/proto目錄。
protobuf
此時(shí)將生成的Java復(fù)制到對(duì)應(yīng)的包下即可。
業(yè)務(wù)應(yīng)用
一切準(zhǔn)備就緒，現(xiàn)在就來(lái)寫(xiě)個(gè)例子使用對(duì)應(yīng)的代碼了。
- public class Test {
- public static void main(String[] args) throws InvalidProtocolBufferException {
- Person.PersonProto sourcePersonProto = Person.PersonProto.newBuilder().setId(123).setName("Tom").build();
- // 序列化
- byte[] binaryInfo = sourcePersonProto.toByteArray();
- System.out.println("序列化字節(jié)碼內(nèi)容：" + Arrays.toString(binaryInfo));
- System.out.println("序列化字節(jié)碼長(zhǎng)度：" + binaryInfo.length);
- System.out.println("-----------以下為接收方反序列化操作-------------");
- // 反序列化
- Person.PersonProto targetPersonProto = Person.PersonProto.parseFrom(binaryInfo);
- System.out.println("反序列化結(jié)果：" + targetPersonProto.toString());
- }
- }
上述代碼就是基于生成的Person類(lèi)的基本使用。首先通過(guò)，Person類(lèi)中的內(nèi)部類(lèi)和Builder方法進(jìn)行參數(shù)的封裝，然后調(diào)用其toByteArray方法，即可將報(bào)文信息進(jìn)行序列化。接收方呢，有同樣的一套代碼，先獲得Person.PersonProto對(duì)象，然后執(zhí)行parseFrom方法即可進(jìn)行反序列化操作。
為什么protobuf比較高效
單從序列化后的數(shù)據(jù)體積角度來(lái)分析。與XML、JSON這類(lèi)文本協(xié)議相比，ProtoBuf通過(guò)T-(L)-V(TAG-LENGTH-VALUE)方式編碼，不需要", {, }, :等分隔符來(lái)結(jié)構(gòu)化信息。同時(shí)在編碼層面使用varint壓縮，所以描述同樣的信息，protobuf序列化后的體積要小很多，在網(wǎng)絡(luò)中傳輸消耗的網(wǎng)絡(luò)流量更少，進(jìn)而對(duì)于網(wǎng)絡(luò)資源緊張、性能要求非常高的場(chǎng)景，ProtoBuf協(xié)議是不錯(cuò)的選擇。
做一個(gè)簡(jiǎn)單直觀的例子：
- {"id":1,"firstName":"Chris","lastName":"Richardson","email":[{"type":"PROFESSIONAL","email":"aicchrrdson@email.com"}]}
對(duì)于上面的JSON數(shù)據(jù)，使用JSON序列化后的數(shù)據(jù)大小為118byte，而使用protobuf序列化后的數(shù)據(jù)大小為48byte。如果數(shù)據(jù)量更多，層次結(jié)構(gòu)更復(fù)雜，差距還是很明顯的。
從序列化/反序列化速度角度，與XML、JSON相比，protobuf序列化/反序列化的速度更快，比XML要快20-100倍。
但protobuf是基于二進(jìn)制的協(xié)議，編碼后的數(shù)據(jù)可讀性差，如果沒(méi)有idl文件，就無(wú)法理解二進(jìn)制數(shù)據(jù)流，對(duì)調(diào)試不友好。
小結(jié)
本文帶大家從0到1學(xué)習(xí)了protobuf的使用步驟。很多文章之所以看不懂，就是因?yàn)闆](méi)有梳理清楚使用protobuf的整個(gè)核心邏輯。只要掌握了如何搭建環(huán)境、如何編寫(xiě)數(shù)據(jù)結(jié)構(gòu)、如何編譯、如何集成到項(xiàng)目中并運(yùn)用。那么，protobuf的其他知識(shí)點(diǎn)逐步在實(shí)踐中補(bǔ)充即可。
隨著微服務(wù)的不斷發(fā)展，RPC框架為了追求高效的通信，使用像protobuf這類(lèi)框架也必然是趨勢(shì)。也是想更好的學(xué)習(xí)微服務(wù)架構(gòu)的底層的必備知識(shí)。
本文源碼：https://github.com/secbr/protobuf-demo
網(wǎng)頁(yè)題目：ProtocolBuffers，一款比Xml快100倍的序列化框架！
文章起源：http://m.5511xx.com/article/djjephh.html
