建站
咨詢
售后
建站咨詢
新聞中心
搜索業(yè)務是馬蜂窩流量分發(fā)的重要入口。很多用戶在使用馬蜂窩時，都會有目的性地主動搜索與自己旅行需求相關的各種信息，衣食住行，事無巨細，從而做出***需求的旅行決策。
10年的輝南網(wǎng)站建設經(jīng)驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。成都全網(wǎng)營銷的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調(diào)整輝南建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“輝南網(wǎng)站設計”,“輝南網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。
因此在馬蜂窩，搜索業(yè)務交互的下游模塊非常多，主要有目的地、POI、熱門景點、美食、商場、酒店、問答、攻略、機票火車票等等，通過實時、精準地返回搜索結果，幫助用戶做出個性化旅行決策。
面對越來越高的流量，馬蜂窩技術團隊積極嘗試對搜索架構進行優(yōu)化和升級，來保證搜索業(yè)務的穩(wěn)定和性能。
方案背景
由于歷史原因，優(yōu)化前的搜索服務與下游模塊交的互方式主要為調(diào)用各下游模塊提供的函數(shù)，并且采用串行調(diào)用。
圖 1: 馬蜂窩搜索業(yè)務架構和技術體系
搜索技術體系
- 存儲——MySQL、Memcache
- 模塊交互——Function Call
- 檢索——Elasticsearch
搜索業(yè)務架構
我們將搜索業(yè)務抽象為三個功能模塊:
1. 決策系統(tǒng)
負責根據(jù)用戶意圖、運營策略、點擊日志等數(shù)據(jù)，結合決策系統(tǒng)相關算法和模型，決策應該展示哪些模塊(游記、商品等)及各模塊展示順序。
2. Agent
負責根據(jù)決策系統(tǒng)確定要展示的模塊，從 Elasticsearch 和業(yè)務方獲取模塊(如游記、商品等)數(shù)據(jù)。
3. Format
負責根據(jù)不同模塊的 UI 交互定義格式化數(shù)據(jù)，補充 UI 交互缺失數(shù)據(jù)。
串行的函數(shù)級調(diào)用方式，使之前的搜索服務架構存在一系列問題：
- 業(yè)務間耦合度高。隨著交互模塊越來越多，導致搜索服務耗時變得很長，平均達到 400-500 ms;
- 由于與各業(yè)務間交互的方式是 Function Call，使上游很難控制下游模塊阻塞時間;
- 下游調(diào)用增加響應時間相應呈線性增長，使其很難再疊加新的功能，可擴展性差;
- 如果下游模塊出現(xiàn)故障，會由于接口阻塞引起超時，導致搜索服務整體都受到影響，表現(xiàn)出白頁，用戶體驗嚴重下降。
圖 2:問題分析
因此，我們需要找到一種方式來降低搜索服務對于下游模塊的依賴，以及模塊間的耦合，從而提升架構的整體可用性和性能。
基于 Golang 的并發(fā)代理實現(xiàn)
經(jīng)過調(diào)研，我們開發(fā)了基于 Golang 協(xié)程實現(xiàn)的并發(fā)請求代理工具，將之前函數(shù)級調(diào)用的方式變?yōu)榛?TCP/IP 的 HTTP 接口調(diào)用來與下游模塊解耦，同時將串行調(diào)用變?yōu)椴l(fā)，實現(xiàn)超時控制和異常容錯處理。
主要技術選型——協(xié)程(Goroutine)
Goroutine 是 Golang 輕量級線程實現(xiàn)，由 Go runtime 管理。它是 Go 并行設計的核心，也是 Golang 最重要的特性之一，相比于進程、線程任務的搶占式調(diào)度，需要頻繁進行上下文信息的內(nèi)核和用戶空間切換，Goroutine 可以由程序控制，使得它更易用、更高效、更輕便。
Goroutine 維護了一組數(shù)據(jù)結構和多個線程，任務放在一個待執(zhí)行隊列中，由 Goroutine 維護的線程來拉取執(zhí)行。當任務執(zhí)行了操作系統(tǒng)的 IO 操作等需要等待時，Goroutine 利用 Linux IO 多路復用技術 (Epoll、Select) 進行執(zhí)行隊列的任務切換來實現(xiàn)并發(fā)。
相比于其他語言的線程，其默認占用內(nèi)存為 2KB, 遠小于其他語言的 M 級別。在性能開銷方面，由于任務調(diào)度基本有程序控制，開銷也遠小于線程。
選型的過程中，我們對比了 PHP 的 Swoole、Java 多線程并行處理方案，它們的 CPU 和內(nèi)存消耗比 Golang 的 Goroutine 要高出很多，并且并行請求數(shù)量會受到資源的限制，在高并發(fā)的情況下如果控制不當會導致服務崩潰。而使用 Goroutine 實現(xiàn)的并發(fā)代理，可以輕松支持***別的并發(fā)請求。
圖 3:并行與并發(fā)
Golang 并發(fā)代理實現(xiàn)
代理服務按請求的處理流程，可以劃分為 HTTP Server ——> 參數(shù)處理——> 并行請求 (協(xié)程調(diào)度)——> HTTP 模塊 ——> API 層。目前我們的方案支持 HTTP/HTTPS 協(xié)議的請求。
圖 4:并發(fā)代理架構圖
各模塊功能概要：
- HTTP Sever：使用 Go 語言 httpserver package 實現(xiàn)，用于接收和處理有代理需求的上游模塊的 HTTP 請求;
- 參數(shù)處理：根據(jù)定義好的交互協(xié)議，將上游模塊的請求解析為并行請求商品、游記等下游模塊的請求任務;
- 協(xié)程調(diào)度：使用 Go 語言的 Goroutine 實現(xiàn)，負責執(zhí)行對下游模塊的并發(fā)請求任務;
- HTTP 模塊：使用 Go 語言的 ioutil/http package 實現(xiàn)，負責與下游 API 模塊以 HTTP 協(xié)議形式交互;
- API 模塊：將下游模塊的函數(shù)調(diào)用封裝為 TCP/IP接口，將函數(shù)形式交互變?yōu)?HTTP 接口形式交互。
搜索業(yè)務應用代理后，整體架構變化為：
圖 5:并發(fā)代理在搜索業(yè)務中的應用
小結與后續(xù)規(guī)劃
基于 Golang 的并發(fā)代理在馬蜂窩搜索業(yè)務中已經(jīng)使用了一段時間，很好地解決了之前存在的一些問題。目前，搜索服務平均耗時已經(jīng)降低到240ms 左右，架構的可用性和可擴展性也得到很大提升，并且有效提高了系統(tǒng)資源的利用率。
現(xiàn)在并發(fā)代理只支持 HTTP，后續(xù)會增加 RPC，來更好地支持整體的服務化改造。在推進和實施搜索架構升級的過程中，我們也會把更多的經(jīng)驗分享出來，希望大家持續(xù)關注。
本文作者：王江濤，馬蜂窩搜素推薦研發(fā)工程師。
【本文是專欄作者馬蜂窩技術的原創(chuàng)文章，作者微信公眾號馬蜂窩技術(ID：mfwtech)】
標題名稱：馬蜂窩搜索基于Golang并發(fā)代理的一次架構升級
當前網(wǎng)址：http://m.5511xx.com/article/cdogogc.html
