建站
咨詢
售后
建站咨詢
新聞中心
本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
創(chuàng)新互聯(lián)建站主營(yíng)柳北網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都app軟件開(kāi)發(fā)公司,柳北h5小程序開(kāi)發(fā)搭建,柳北網(wǎng)站營(yíng)銷推廣歡迎柳北等地區(qū)企業(yè)咨詢
當(dāng)NLP模型產(chǎn)生了語(yǔ)法錯(cuò)誤，怎么辦？
比如，He wants that you send him an email.
沒(méi)關(guān)系，現(xiàn)在可以像小時(shí)候的英語(yǔ)老師，改作文一樣簡(jiǎn)單。
只要裝上一個(gè)專門(mén)糾正語(yǔ)法錯(cuò)誤的庫(kù)就可以，還是毫秒鐘就可揪出來(lái)的那種。
這不，把“that”改成“to”不就可以了嗎~
糾正過(guò)來(lái)就是：
He wants you to send him an email.
（不會(huì)真有人看不出其中的語(yǔ)法錯(cuò)誤吧）
再比如這句。
I can due his homework.
應(yīng)該變成：I can do his homework.
好像這些語(yǔ)法錯(cuò)誤，都有點(diǎn)太過(guò)明顯了。那就來(lái)復(fù)雜一點(diǎn)的。
Thanks for your’s and Lucy’s help.
系統(tǒng)就會(huì)改成：
Thanks for yours and Lucy’s help.
這就是最近一位AI專業(yè)本科生Benjamin Minixhofer，利用假期時(shí)間開(kāi)發(fā)出來(lái)的一款快速糾正語(yǔ)法錯(cuò)誤的庫(kù)NLPRule。
[[376990]]
它是由Rust編寫(xiě)的一個(gè)基于LanguageTool語(yǔ)法規(guī)則的逆向工程。
LanguageTool是一款開(kāi)放源代碼校對(duì)軟件，適用于英語(yǔ)，法語(yǔ)，德語(yǔ)，波蘭語(yǔ)，俄語(yǔ)以及20多種其他語(yǔ)言，它可以發(fā)現(xiàn)許多拼寫(xiě)檢查器無(wú)法檢測(cè)到的錯(cuò)誤。
一經(jīng)發(fā)出，就在Reddit上獲得了200+的熱度。
如何實(shí)現(xiàn)？
NLPRule是將語(yǔ)法規(guī)則與ML模型結(jié)合起來(lái)，主要應(yīng)用于NLP的預(yù)處理和NLG的后處理。
在作者看來(lái)，使用基于語(yǔ)法規(guī)則的方法有兩大優(yōu)勢(shì)。
一是速度。作者使用第8代英特爾，糾正一個(gè)句子只需要不到1毫秒的時(shí)間。
二是語(yǔ)法錯(cuò)誤的訓(xùn)練數(shù)據(jù)極度稀少，ML模型無(wú)法處理。
比如，就像這句“It is enough for all intensive purposes. ”
就包含了一個(gè)錯(cuò)誤。除非特別說(shuō)明，ML模型基本上不能糾正這個(gè)錯(cuò)誤，因?yàn)樗鼛缀醪粫?huì)出現(xiàn)在其訓(xùn)練數(shù)據(jù)當(dāng)中。
而若是放在其他語(yǔ)言數(shù)據(jù)中，肯定會(huì)比英語(yǔ)更少。
比如，中文。
作者創(chuàng)建這個(gè)庫(kù)的目的在于創(chuàng)建一個(gè)快速、輕量級(jí)的引擎來(lái)運(yùn)行自然語(yǔ)言規(guī)則，無(wú)需依賴JVM（Java虛擬運(yùn)行環(huán)境）速度、內(nèi)存的影響。
目前，這個(gè)庫(kù)支持英語(yǔ)和德語(yǔ)。
具體安裝可分成如下四個(gè)步驟，詳細(xì)可戳文末鏈接。
在GPT-2進(jìn)行文本測(cè)試
接著，作者就嘗試用GPT-2生成的文本來(lái)測(cè)試，結(jié)果產(chǎn)生了大量的改進(jìn)建議。
比如語(yǔ)法錯(cuò)誤。
Before: …t out, as a condition of its being operated. Each lock keeper should ensure >that all locks are operated and tha…
After: …t out, as a condition of its being operated. Each lockkeeper should ensure that all locks are operated and tha…
Message: This noun is normally spelled as one word.
Type: grammar
再比如拼寫(xiě)錯(cuò)誤。
Before: …h(huán)e Z-machine version (in the standardised format) is comprised of 32 (in total) >bytes, one per line. …
After: …h(huán)e Z-machine version (in the standardised format) comprises 32 (in total) bytes, one per line. …
Message: Did you mean comprises or consists of or is composed of?
Type: misspelling
一經(jīng)發(fā)出，不少網(wǎng)友直呼：Fantastic！
也有網(wǎng)友想到，如果跟BERT或者其他Transformer模型結(jié)合起來(lái)，會(huì)不會(huì)生成更好的句子呢？
想要了解更多細(xì)節(jié)，吶~傳送門(mén)送上！
網(wǎng)站名稱：NLP模型也有“老師”了！裝上這個(gè)開(kāi)源庫(kù)，1毫秒糾正語(yǔ)法錯(cuò)誤
標(biāo)題URL：http://m.5511xx.com/article/cdhpjoi.html
