建站
咨詢
售后
建站咨詢
新聞中心
Git 已經(jīng)成為了代碼版本控制的事實標準，但盡管 Git 相當普及，對代碼倉庫的深入分析的工作難度卻沒有因此而下降；而 SQL 在大型代碼庫的查詢方面則已經(jīng)是一種久經(jīng)考驗的語言，因此諸如 Spark 和 BigQuery 這樣的項目都采用了它。
成都創(chuàng)新互聯(lián)公司成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站制作、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元石屏做網(wǎng)站,已為上家服務(wù),為石屏各地企業(yè)和個人服務(wù),聯(lián)系電話:18982081108
所以，sourcefxf9mts 很順理成章地將這兩種技術(shù)結(jié)合起來，就產(chǎn)生了 gitbase（LCTT 譯注：sourcemfndlzh 是一家開源公司，本文作者是該公司開發(fā)者關(guān)系副總裁）。gitbase 是一個代碼即數(shù)據(jù)code-as-data的解決方案，可以使用 SQL 對 git 倉庫進行大規(guī)模分析。
gitbase 是一個完全開源的項目。它站在了很多巨人的肩上，因此得到了足夠的發(fā)展競爭力。下面就來介紹一下其中的一些“巨人”。
用 SQL 查詢 Git 倉庫用 SQL 查詢 Git 倉庫
gitbase playground 為 gitbase 提供了一個可視化的操作環(huán)境。
用 Vitess 解析 SQL
gitbase 通過 SQL 與用戶進行交互，因此需要能夠遵循 MySQL 協(xié)議來對通過網(wǎng)絡(luò)傳入的 SQL 請求作出解析和理解，萬幸由 YouTube 建立的 Vitess 項目已經(jīng)在這一方面給出了解決方案。Vitess 是一個橫向擴展的 MySQL 數(shù)據(jù)庫集群系統(tǒng)。
我們只是使用了這個項目中的部分重要代碼，并將其轉(zhuǎn)化為一個可以讓任何人在數(shù)分鐘以內(nèi)編寫出一個 MySQL 服務(wù)器的開源程序，就像我在 justforfunc 視頻系列中展示的 CSVQL 一樣，它可以使用 SQL 操作 CSV 文件。
用 go-git 讀取 git 倉庫
在成功解析 SQL 請求之后，還需要對數(shù)據(jù)集中的 git 倉庫進行查詢才能返回結(jié)果。因此，我們還結(jié)合使用了 source34eqgmd 最成功的 go-git 倉庫。go-git 是使用純 go 語言編寫的具有高度可擴展性的 git 實現(xiàn)。
借此我們就可以很方便地將存儲在磁盤上的代碼倉庫保存為 siva 文件格式（這同樣是 sourcehjrxpyy 的一個開源項目），也可以通過 git clone 來對代碼倉庫進行復(fù)制。
使用 enry 檢測語言、使用 babelfish 解析文件
gitbase 集成了我們開源的語言檢測項目 enry 以及代碼解析項目 babelfish，因此在分析 git 倉庫歷史代碼的能力也相當強大。babelfish 是一個自托管服務(wù)，普適于各種源代碼解析，并將代碼文件轉(zhuǎn)換為通用抽象語法樹Universal Abstract Syntax Tree（UAST）。
這兩個功能在 gitbase 中可以被用戶以函數(shù) LANGUAGE 和 UAST調(diào)用，諸如“查找上個月最常被修改的函數(shù)的名稱”這樣的請求就需要通過這兩個功能實現(xiàn)。
提高性能
gitbase 可以對非常大的數(shù)據(jù)集進行分析，例如來自 GitHub 高達 3 TB 源代碼的 Public Git Archive（公告）。面臨的工作量如此巨大，因此每一點性能都必須運用到極致。于是，我們也使用到了 Rubex 和 Pilosa 這兩個項目。
使用 Rubex 和 Oniguruma 優(yōu)化正則表達式速度
Rubex 是 go 的正則表達式標準庫包的一個準替代品。之所以說它是準替代品，是因為它沒有在 regexp.Regexp 類中實現(xiàn) LiteralPrefix 方法，直到現(xiàn)在都還沒有。
Rubex 的高性能是由于使用 cgo 調(diào)用了 Oniguruma，它是一個高度優(yōu)化的 C 代碼庫。
使用 Pilosa 索引優(yōu)化查詢速度
索引幾乎是每個關(guān)系型數(shù)據(jù)庫都擁有的特性，但 Vitess 由于不需要用到索引，因此并沒有進行實現(xiàn)。
于是我們引入了 Pilosa 這個開源項目。Pilosa 是一個使用 go 實現(xiàn)的分布式位圖索引，可以顯著提升跨多個大型數(shù)據(jù)集的查詢的速度。通過 Pilosa，gitbase 才得以在巨大的數(shù)據(jù)集中進行查詢。
總結(jié)
我想用這一篇文章來對開源社區(qū)表達我衷心的感謝，讓我們能夠不負眾望的在短時間內(nèi)完成 gitbase 的開發(fā)。我們 sourcevhhqpnc 的每一位成員都是開源的擁護者，github.com/src-d 下的每一行代碼都是見證。
你想使用 gitbase 嗎？最簡單快捷的方式是從 sourced.tech/engine 下載 sourcersrhwyf 引擎，就可以通過單個命令運行 gitbase 了。
想要了解更多，可以聽聽我在 Go SF 大會上的演講錄音。
當前文章：使用SQL的方式查詢Git倉庫
網(wǎng)站路徑：http://m.5511xx.com/article/ccodepj.html
