建站
咨詢
售后
建站咨詢
新聞中心
Git 已經(jīng)成為了代碼版本控制的事實(shí)標(biāo)準(zhǔn)，但盡管 Git 相當(dāng)普及，對(duì)代碼倉(cāng)庫(kù)的深入分析的工作難度卻沒有因此而下降；而 SQL 在大型代碼庫(kù)的查詢方面則已經(jīng)是一種久經(jīng)考驗(yàn)的語(yǔ)言，因此諸如 Spark 和 BigQuery 這樣的項(xiàng)目都采用了它。
成都創(chuàng)新互聯(lián)公司成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站制作、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元石屏做網(wǎng)站,已為上家服務(wù),為石屏各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108
所以，sourcevbb75nf 很順理成章地將這兩種技術(shù)結(jié)合起來(lái)，就產(chǎn)生了 gitbase（LCTT 譯注：sourcevbb75nf 是一家開源公司，本文作者是該公司開發(fā)者關(guān)系副總裁）。gitbase 是一個(gè)代碼即數(shù)據(jù)code-as-data的解決方案，可以使用 SQL 對(duì) git 倉(cāng)庫(kù)進(jìn)行大規(guī)模分析。
gitbase 是一個(gè)完全開源的項(xiàng)目。它站在了很多巨人的肩上，因此得到了足夠的發(fā)展競(jìng)爭(zhēng)力。下面就來(lái)介紹一下其中的一些“巨人”。
用 SQL 查詢 Git 倉(cāng)庫(kù)用 SQL 查詢 Git 倉(cāng)庫(kù)
gitbase playground 為 gitbase 提供了一個(gè)可視化的操作環(huán)境。
用 Vitess 解析 SQL
gitbase 通過 SQL 與用戶進(jìn)行交互，因此需要能夠遵循 MySQL 協(xié)議來(lái)對(duì)通過網(wǎng)絡(luò)傳入的 SQL 請(qǐng)求作出解析和理解，萬(wàn)幸由 YouTube 建立的 Vitess 項(xiàng)目已經(jīng)在這一方面給出了解決方案。Vitess 是一個(gè)橫向擴(kuò)展的 MySQL 數(shù)據(jù)庫(kù)集群系統(tǒng)。
我們只是使用了這個(gè)項(xiàng)目中的部分重要代碼，并將其轉(zhuǎn)化為一個(gè)可以讓任何人在數(shù)分鐘以內(nèi)編寫出一個(gè) MySQL 服務(wù)器的開源程序，就像我在 justforfunc 視頻系列中展示的 CSVQL 一樣，它可以使用 SQL 操作 CSV 文件。
用 go-git 讀取 git 倉(cāng)庫(kù)
在成功解析 SQL 請(qǐng)求之后，還需要對(duì)數(shù)據(jù)集中的 git 倉(cāng)庫(kù)進(jìn)行查詢才能返回結(jié)果。因此，我們還結(jié)合使用了 sourcevbb75nf 最成功的 go-git 倉(cāng)庫(kù)。go-git 是使用純 go 語(yǔ)言編寫的具有高度可擴(kuò)展性的 git 實(shí)現(xiàn)。
借此我們就可以很方便地將存儲(chǔ)在磁盤上的代碼倉(cāng)庫(kù)保存為 siva 文件格式（這同樣是 sourcevbb75nf 的一個(gè)開源項(xiàng)目），也可以通過 git clone 來(lái)對(duì)代碼倉(cāng)庫(kù)進(jìn)行復(fù)制。
使用 enry 檢測(cè)語(yǔ)言、使用 babelfish 解析文件
gitbase 集成了我們開源的語(yǔ)言檢測(cè)項(xiàng)目 enry 以及代碼解析項(xiàng)目 babelfish，因此在分析 git 倉(cāng)庫(kù)歷史代碼的能力也相當(dāng)強(qiáng)大。babelfish 是一個(gè)自托管服務(wù)，普適于各種源代碼解析，并將代碼文件轉(zhuǎn)換為通用抽象語(yǔ)法樹Universal Abstract Syntax Tree（UAST）。
這兩個(gè)功能在 gitbase 中可以被用戶以函數(shù) LANGUAGE 和 UAST調(diào)用，諸如“查找上個(gè)月最常被修改的函數(shù)的名稱”這樣的請(qǐng)求就需要通過這兩個(gè)功能實(shí)現(xiàn)。
提高性能
gitbase 可以對(duì)非常大的數(shù)據(jù)集進(jìn)行分析，例如來(lái)自 GitHub 高達(dá) 3 TB 源代碼的 Public Git Archive（公告）。面臨的工作量如此巨大，因此每一點(diǎn)性能都必須運(yùn)用到極致。于是，我們也使用到了 Rubex 和 Pilosa 這兩個(gè)項(xiàng)目。
使用 Rubex 和 Oniguruma 優(yōu)化正則表達(dá)式速度
Rubex 是 go 的正則表達(dá)式標(biāo)準(zhǔn)庫(kù)包的一個(gè)準(zhǔn)替代品。之所以說它是準(zhǔn)替代品，是因?yàn)樗鼪]有在 regexp.Regexp 類中實(shí)現(xiàn) LiteralPrefix 方法，直到現(xiàn)在都還沒有。
Rubex 的高性能是由于使用 cgo 調(diào)用了 Oniguruma，它是一個(gè)高度優(yōu)化的 C 代碼庫(kù)。
使用 Pilosa 索引優(yōu)化查詢速度
索引幾乎是每個(gè)關(guān)系型數(shù)據(jù)庫(kù)都擁有的特性，但 Vitess 由于不需要用到索引，因此并沒有進(jìn)行實(shí)現(xiàn)。
于是我們引入了 Pilosa 這個(gè)開源項(xiàng)目。Pilosa 是一個(gè)使用 go 實(shí)現(xiàn)的分布式位圖索引，可以顯著提升跨多個(gè)大型數(shù)據(jù)集的查詢的速度。通過 Pilosa，gitbase 才得以在巨大的數(shù)據(jù)集中進(jìn)行查詢。
總結(jié)
我想用這一篇文章來(lái)對(duì)開源社區(qū)表達(dá)我衷心的感謝，讓我們能夠不負(fù)眾望的在短時(shí)間內(nèi)完成 gitbase 的開發(fā)。我們 sourcevbb75nf 的每一位成員都是開源的擁護(hù)者，github.com/src-d 下的每一行代碼都是見證。
你想使用 gitbase 嗎？最簡(jiǎn)單快捷的方式是從 sourced.tech/engine 下載 sourcevbb75nf 引擎，就可以通過單個(gè)命令運(yùn)行 gitbase 了。
想要了解更多，可以聽聽我在 Go SF 大會(huì)上的演講錄音。
標(biāo)題名稱：使用SQL的方式查詢Git倉(cāng)庫(kù)
網(wǎng)站鏈接：http://m.fisionsoft.com.cn/article/ccodepj.html
