日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
讓代碼自動補全的全套流程

作者：熊唯，黃飛 ，騰訊 PCG/QQ研發(fā)中心/CV應用研究組

創(chuàng)新互聯(lián)公司致力于互聯(lián)網(wǎng)品牌建設與網(wǎng)絡營銷，包括網(wǎng)站建設、成都網(wǎng)站制作、SEO優(yōu)化、網(wǎng)絡推廣、整站優(yōu)化營銷策劃推廣、電子商務、移動互聯(lián)網(wǎng)營銷等。創(chuàng)新互聯(lián)公司為不同類型的客戶提供良好的互聯(lián)網(wǎng)應用定制及解決方案，創(chuàng)新互聯(lián)公司核心團隊10多年專注互聯(lián)網(wǎng)開發(fā)，積累了豐富的網(wǎng)站經(jīng)驗，為廣大企業(yè)客戶提供一站式企業(yè)網(wǎng)站建設服務，在網(wǎng)站建設行業(yè)內(nèi)樹立了良好口碑。

AI 如果真的可以寫代碼了，程序員將何去何從?近幾年，NLP 領域的生成式任務有明顯的提升，那通過 AI 我們可以讓代碼自動完成后續(xù)補全嗎?本文主要介紹了如何使用 GPT2 框架實現(xiàn)代碼自動補全的功能。

如果 AI 真的可以自己寫代碼了，程序員將何去何從?

我去年做過一個代碼補全的小功能，打包為 androidStudio 插件，使用效果如下：

代碼補全模型預測出的結果有時的確會驚嚇到我，這也能學到~? 那如果給它見識了全世界的優(yōu)秀代碼，再給足夠量級參數(shù)和優(yōu)秀的模型框架，真的可以實現(xiàn)需求作為輸入，直接輸出代碼嗎?

"我的需求講完了，你的代碼呢?" 希望可以看到這一天。

代碼補齊功能有其他優(yōu)秀插件也已實現(xiàn)，比如 tabnine，Kite 和國產(chǎn)的 aixcoder。本文主要介紹下代碼補全功能需要實現(xiàn)的整套流程。主要包括數(shù)據(jù)，算法和工程。

數(shù)據(jù)

眾所周知，算法工程師大部分時間都在處理數(shù)據(jù)。

深度學習是使用大數(shù)據(jù)訓練模型的一個過程，數(shù)據(jù)是很重要的一個模塊。人是會累的，休息不好還導致記憶不好。AI 是你給多少數(shù)據(jù)它就能存儲接收多少數(shù)據(jù)，學不到信息那是人的錯，給的數(shù)據(jù)不好或者算法設計不好。所以我們先盡可能多的準備好訓練數(shù)據(jù)。

1、數(shù)據(jù)采集

本文的目的是代碼補全，訓練數(shù)據(jù)就是代碼段?？紤]到每種語言風格和語法都不一致，所以單個模型只針對一種代碼語言。

我使用的訓練數(shù)據(jù)主要來源于 GitHub，編寫了一個簡單的爬蟲代碼，指定語言后根據(jù) stars 的排序下載工程。

Github 的 search API 官方地址：

https://developer.github.com/v3/search/

2、數(shù)據(jù)清理

直接下載的數(shù)據(jù)肯定是不能直接用的，我們還需要對數(shù)據(jù)進行清理。

首先，我們的訓練數(shù)據(jù)只需要工程中的代碼文件，以 java 工程為例，我們只保留.java 結尾的文件，其他文件可剔除。

其次，我的代碼補全目標是代碼段，不針對注釋功能。而且對于代碼補全訓練時，我們是會給定一定范圍的上文，如果存在注釋段會占用有效代碼信息。另外注釋除英文外其他字符不在我的訓練 vocab 范圍內(nèi)，所以需要對代碼中注釋和日志進行清理。

1.刪除代碼行中存在除符號和英文外的字符

2.刪除日志行

3.刪除注釋行，主要針對以下格式

 
 
 
 
      
  
  
  
  1. /* 注釋文本*/ 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. /** 
    4.   
  
  
  
  4. 注釋段落 
    5.   
  
  
  
  5. */ 
    6.   
  
  
  
  6.  
    7.   
  
  
  
  7. // 注釋文本 
    8.   
  
  
  
  8.  
    9.   
  
  
  
  9.  code //注釋 
    10.

經(jīng)過以上數(shù)據(jù)清理后，得到純代碼數(shù)據(jù)。

3、數(shù)據(jù)編碼

得到了訓練數(shù)據(jù)后還需要把代碼文本進行編碼。本文使用的是 bpe(byte pair encoder)字節(jié)對編碼，主要為了數(shù)據(jù)壓縮。bpe 簡單理解為將一個單詞再拆分為多個字母組合，比如 tencent 拆分為 ten-cent，這些組合方式則是根據(jù)大量數(shù)據(jù)，統(tǒng)計頻率得到。由于我們期待的代碼補全功能是在行首輸入幾個字母，根據(jù)上文預期出本行內(nèi)容。

假設 tensorflow 這個 token 被編碼對應到一個 id，那我希望輸入 ten 就輸出 tensorflow 是無法實現(xiàn)的。所以在訓練過程中，我會隨機把 token 打斷，比如將 tensorflow 打斷為 t-en-sor-flow 進行編碼，打斷原則是被切分的部分一定要在詞匯表中。數(shù)據(jù)編碼后，代碼的每個 token 被編碼為 1~N 個 id。模型預測到的 id 反編碼為 token 即可。回車符認為是預測的終止符。經(jīng)過以上處理，我們就準備好了訓練數(shù)據(jù)，下面就可以進行算法部分了。

模型算法

眾所周知，算法工程師大部分時間都在研究算法。

在騰訊文檔的錯別字糾錯需求中，我們采用了基于 LSTM 的 seq2seq 以及 facebook 提出的基于 CNN 的 seq2seq，可以得到不錯的糾錯效果。直到 NLP 出現(xiàn)了一個"網(wǎng)紅"--BERT，采用后精度直接提升 8 個點左右，不虧是 google。下面先簡單介紹下 bert 和 gpt2。

BERT 和 GPT2

2017 年中 google 提出了 Transformer 結構。不用 rnn，不用 cnn，提出 attention is all you need。2018 年 openAI 采用了 transformers 結構在 18 年發(fā)布了 GPT。同年 google AI Language 發(fā)布了 bert 論文，提出的 BERT 模型在 11 個 NLP 任務上刷新了記錄。2019 年 openAI 又推出了 GPT-2 模型。。

BERT(Bidirectional Encoder Representation from Transformers)是基于 transformers 框架的 encoder 部分，自編碼語言模型，適合 N-1(比如句子分類)，N-N(比如詞性標注)的任務，但是它并不適合做生成任務。

GPT(Generative Pre-Training)基于 transformers 的 decoder 部分，自回歸語言模型，適合生成式任務。

Transformer框架圖

GPT2和BTER框架示意圖

代碼補全功能就是基于 GPT2 框架，OPenAI 官方提供了多套 GPT2 預訓練模型：

官方提供GPT2參數(shù)

作為一個經(jīng)常要把模型部署到移動端的 CVer，看到這個參數(shù)級別，我選擇最小的模型進行 finetune。

對于 GPT 算法，下面這篇文章講的很好，感興趣同學可以看看：

https://zhuanlan.zhihu.com/p/137350403

GPT2的預測過程

本文在訓練中使用 512 個上文，預測到回車符為終止。模型網(wǎng)絡使用超參:12 個層，768 個隱藏節(jié)點，12 個 heads，采用了 uber 的 Horovod 分布式框架進行訓練。

infer 階段采用 beam-search 會導致整個預測過程特別耗時，所以參考了https://arxiv.org/abs/1904.09751論文，采用 top-k sampling，每次預測 top3 的結果再通過概率閾值過濾后作為最終候選輸出。

最終 infer 效果：

輸入一段代碼，預測出后續(xù)代碼，以回車符截止。

工程

眾所周知，算法工程師大部分時間都在做工程。

訓練出模型后，還要把模型應用起來，所以還需要一些工程工作需要實現(xiàn)。代碼補全功能，最合適的應用場景就是上 IDE。nlp 模型不太適合在本機部署，最終選擇了在 GPU 機器上部署模型，然后終端通過 http 請求獲取預測文本顯示的方案。

后臺部署

Flask 是一個 Web 應用程序框架，靈活，輕便，容易上手。本文簡單介紹如何利用 flask 啟動一個 web 服務，以及如何訪問和調(diào)用我們的功能接口。首先我們創(chuàng)建一個 conda 環(huán)境：

 
 
 
 
      
  
  
  
  1. conda create -n flask python=3.6 
    2.   
  
  
  
  2. source activate flask 
    3.   
  
  
  
  3. pip install flask 
    4.

代碼中增加一個接口函數(shù)：

 
 
 
 
      
  
  
  
  1. from flask import Flask 
    2.   
  
  
  
  2. from flask import request 
    3.   
  
  
  
  3. app = Flask() 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6. # route把一個函數(shù)綁定到對應的 url 上 
    7.   
  
  
  
  7. @app.route("/plugin",methods=['GET',]) 
    8.   
  
  
  
  8. def send(): 
    9.   
  
  
  
  9.     data = request.args.get('data') 
    10.   
  
  
  
  10.    # 模型預測邏輯 
    11.   
  
  
  
  11.     out =  model_infer(data) 
    12.   
  
  
  
  12.     return out 
    13.   
  
  
  
  13.  
    14.   
  
  
  
  14. if __name__ == '__main__': 
    15.   
  
  
  
  15.     app.run(host='0.0.0.0',port=8080, debug=False) 
    16.

執(zhí)行 run.py 代碼，后臺服務開啟運行：

客戶端請求：

 
 
 
 
      
  
  
  
  1. url = http://ip:8080/plugin?data="輸入" 
    2.

其中 model_infer 函數(shù)需要實現(xiàn)模型的 infer 前向計算邏輯，從請求中獲取 data 字段作為輸入，infer 預測的結果列表作為輸出返回給調(diào)用方。

經(jīng)過上面的工作，我們已經(jīng)提供了一個服務接口，返回我們代碼補全的預測結果。

插件編寫

最后一步就是如何在 IDE 上使用功能了。我們要開發(fā) AS 的插件，需要使用 IntelliJ，首先需要在本機安裝配置 IntelliJ IDEA

下載地址:

https://www.jetbrains.com/idea/download/

社區(qū)版源碼:

https://github.com/JetBrains/intellij-community

好用的插件可以節(jié)省程序員很多時間，在插件實現(xiàn)時，我還添加了一個小的 git-blame 功能，實時查看指定行的 git 提交人，對于手 Q 這種多人合作的工作，比較實用。大家也可以通過 IntelliJ 自己開發(fā)一些常用功能。

gitBlame 的主要代碼：

 
 
 
 
      
  
  
  
  1. public class GitBlame extends AnAction { 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3.     private void showPopupBalloon(final Editor editor, final String result) { 
    4.   
  
  
  
  4.         ApplicationManager.getApplication().invokeLater(new Runnable() { 
    5.   
  
  
  
  5.             public void run() { 
    6.   
  
  
  
  6.                 JBPopupFactory factory = JBPopupFactory.getInstance(); 
    7.   
  
  
  
  7.                 factory.createHtmlTextBalloonBuilder(result, null, new JBColor(new Color(186, 238, 186), new Color(73, 117, 73)), null) 
    8.   
  
  
  
  8.                         .setFadeoutTime(5000) 
    9.   
  
  
  
  9.                         .createBalloon() 
    10.   
  
  
  
  10.                         .show(factory.guessBestPopupLocation(editor), Balloon.Position.below); 
    11.   
  
  
  
  11.             } 
    12.   
  
  
  
  12.         }); 
    13.   
  
  
  
  13.     } 
    14.   
  
  
  
  14.  
    15.   
  
  
  
  15.     @Override 
    16.   
  
  
  
  16.     public void actionPerformed(AnActionEvent e) { 
    17.   
  
  
  
  17.         // TODO: insert action logic here 
    18.   
  
  
  
  18.         //獲得當前本地代碼根目錄 
    19.   
  
  
  
  19.         String base_path = e.getProject().getBasePath(); 
    20.   
  
  
  
  20.         String file_path = e.getProject().getProjectFilePath(); 
    21.   
  
  
  
  21.         //獲取編輯mEditor 
    22.   
  
  
  
  22.         final Editor mEditor = e.getData(PlatformDataKeys.EDITOR); 
    23.   
  
  
  
  23.         if (null == mEditor) { 
    24.   
  
  
  
  24.             return; 
    25.   
  
  
  
  25.         } 
    26.   
  
  
  
  26.         SelectionModel model = mEditor.getSelectionModel(); 
    27.   
  
  
  
  27.         final String selectedText = model.getSelectedText(); 
    28.   
  
  
  
  28.         if (TextUtils.isEmpty(selectedText)) { 
    29.   
  
  
  
  29.             return; 
    30.   
  
  
  
  30.         } 
    31.   
  
  
  
  31.  
    32.   
  
  
  
  32.         //獲取當前編輯文檔的目錄 
    33.   
  
  
  
  33.         PsiFile mPsifile = e.getData(PlatformDataKeys.PSI_FILE); 
    34.   
  
  
  
  34.         VirtualFile file = mPsifile.getContainingFile().getOriginalFile().getVirtualFile(); 
    35.   
  
  
  
  35.         if (file != null && file.isInLocalFileSystem()) { 
    36.   
  
  
  
  36.             file_path = file.getCanonicalPath(); 
    37.   
  
  
  
  37.         } 
    38.   
  
  
  
  38.         //gitkit工具 
    39.   
  
  
  
  39.         JGitUtil gitKit = new JGitUtil(); 
    40.   
  
  
  
  40.         String filename = file_path.replace(base_path+"/",""); 
    41.   
  
  
  
  41.         //得到blame信息 
    42.   
  
  
  
  42.         int line_index = mEditor.getSelectionModel().getSelectionStartPosition().getLine(); 
    43.   
  
  
  
  43.         String blame_log = gitKit.git_blame(base_path,filename,line_index); 
    44.   
  
  
  
  44.  
    45.   
  
  
  
  45.         //展示 
    46.   
  
  
  
  46.         if (!blame_log.isEmpty()){ 
    47.   
  
  
  
  47.             showPopupBalloon(mEditor, blame_log); 
    48.   
  
  
  
  48.         } 
    49.   
  
  
  
  49.     } 
    50.   
  
  
  
  50. } 
    51.

本文的代碼補全插件主要代碼邏輯為調(diào)用上一步后臺部署的請求。

 
 
 
 
      
  
  
  
  1. // 請求url格式（和flask接口一致） 
    2.   
  
  
  
  2. String baseUrl = "http://ip:8080/plugin?data="; 
    3.   
  
  
  
  3. // 獲取當前編輯位置文本 
    4.   
  
  
  
  4. PsiFile str = position.getContainingFile(); 
    5.   
  
  
  
  5. // 根據(jù)模型上文限制獲取代碼端 
    6.   
  
  
  
  6. String data = getContentCode(); 
    7.   
  
  
  
  7. String url = baseUrl+data; 
    8.   
  
  
  
  8. // 發(fā)送請求 
    9.   
  
  
  
  9. String result = HttpUtils.doGet(url); 
    10.   
  
  
  
  10. // 后處理邏輯，在提示框顯示預測結果 
    11.   
  
  
  
  11. show() 
    12.

最終呈現(xiàn)形式：

可以看出，模型的預計結果還是不錯的~

以上為代碼補全功能的實現(xiàn)和應用，算是 AI 自動寫代碼的一小步。

AI 能否自己寫代碼，達到疑犯追蹤里 TM 那種水平，我不敢說一定不可能，但以我目前的認知是實現(xiàn)不了，畢竟寫代碼的是程序員，給算法喂數(shù)據(jù)的是程序員，算法設計還是程序員，AI 連幫人類解 bug 的功能都還不出現(xiàn)!\

參考資料：

[1] https://arxiv.org/abs/1706.03762

[2] https://arxiv.org/abs/1810.04805

[3] https://github.com/openai/gpt-2

[4] https://arxiv.org/abs/1904.09751


本文名稱：讓代碼自動補全的全套流程
分享地址：http://m.5511xx.com/article/coeeepc.html