建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
[[410261]]
本文轉(zhuǎn)載自微信公眾號(hào)「Python中文社區(qū)」，作者鞏慶奎。轉(zhuǎn)載本文請(qǐng)聯(lián)系Python中文社區(qū)公眾號(hào)。
背景
作為一個(gè)程序員，經(jīng)常需要閱讀英文論文、文檔、書(shū)籍。對(duì)于一些基礎(chǔ)不好的同學(xué)來(lái)說(shuō)，最主要的攔路虎是英語(yǔ)單詞。計(jì)算機(jī)類(lèi)文檔不同于小說(shuō)，其語(yǔ)法、句式都比較簡(jiǎn)單，可以說(shuō)只要詞匯量有了，閱讀就很簡(jiǎn)單。
如果能在平時(shí)提高詞匯量，那是最好不過(guò)了。雞湯警告!你必須暗自努力，然后驚艷所有人!這句話(huà)打在這里沒(méi)毛病吧，老鐵。但無(wú)所側(cè)重地背普通英語(yǔ)字典，恐怕效率并不高。不提前學(xué)習(xí)單詞，直接上手閱讀，遇到生詞再查，效率也提升不起來(lái)。
這里介紹一個(gè)針對(duì)專(zhuān)業(yè)文檔背單詞的方法：把當(dāng)前文檔的所有單詞，建立一個(gè)專(zhuān)屬字典，先背誦這個(gè)字典，再去看書(shū)，一定能一目十行。
思路
總體思路是文件分詞統(tǒng)計(jì)，查找字典，生成新字典。
- 首先，有一個(gè)需要閱讀的英文文檔，給它分詞，按照單詞頻率排序;
- 找一個(gè)已掌握的英語(yǔ)詞匯表(四六級(jí)或考研等)，把上文中的單詞和本詞匯表重復(fù)的項(xiàng)刪除;
- 再找一個(gè)詞匯量大的字典，在其中查找對(duì)應(yīng)解釋;
- 把結(jié)果存儲(chǔ)到一個(gè)字典文件中。
得到的字典，就是這本書(shū)的專(zhuān)屬字典了。業(yè)余背這個(gè)字典，相當(dāng)于掌握了計(jì)算機(jī)專(zhuān)業(yè)英語(yǔ)。這個(gè)方法也適用于機(jī)械、電子等等任何專(zhuān)業(yè)英語(yǔ)的地方。
實(shí)現(xiàn)
下面，以 Python 神作《Fluent Python》為例，用 Python 自帶的庫(kù)實(shí)現(xiàn)分詞、統(tǒng)計(jì)功能。首先看下它的內(nèi)容梗概。
- Fluent Python
- CLEAR, CONCISE, AND EFFECTIVE PROGRAMMING
- Luciano Ramalho
- ......
分詞
首先來(lái)分詞。
- from collections import Counter
- import re
- ct2 = Counter()
- patt = re.compile(r'\w+')
- with open('f1.txt','r',encoding='utf-8') as f:
- for l in f.readlines():
- ws = (n.lower() for n in patt.findall(l))
- ct2.update(ws)
以上代碼中，導(dǎo)入了 Counter 和 re 模塊。
Counter 負(fù)責(zé)統(tǒng)計(jì)單詞詞頻，re 正則表達(dá)式分割英語(yǔ)單詞。得到結(jié)果 ct2 中是所有單詞的詞頻。
下面，把它保存下來(lái)。
- with open('result_f1.txt','w',encoding='utf-8') as f:
- f.write(''.join(('%s %s\n'%(a,b) for a,b in ct2.most_common())))
現(xiàn)在，result_f1.txt 中存儲(chǔ)的是這本書(shū)出現(xiàn)的單詞，而且是按照詞頻排序的，如下。
- the 12414
- a 5639
- of 4900
- in 4837
- to 4689
- is 3848
- ......
和預(yù)想得很像，排名靠前的基本是介詞等常用詞。
另外，比較有意思的數(shù)據(jù)是，《Fluent Python》共使用詞匯 9118 個(gè)，其中出現(xiàn)一次的單詞有 3168 個(gè)。出現(xiàn)頻次最高的 the 達(dá)到 12000 次。它的分布圖如下。
載入字典
下載一個(gè)比較全的字典，十萬(wàn)個(gè)單詞。載入內(nèi)存，存儲(chǔ)在字典數(shù)據(jù)變量 dicts 中。
- 這是 dict 結(jié)構(gòu)第一次真正存儲(chǔ)字典!
- dicts = dict()
- with open('103976.txt','r',encoding='gbk') as f:
- for l in f.readlines():
- k = l[0:l.find('\t')]
- v = l[l.find('\t')+1:]
- dicts.update({k:v})
刪除認(rèn)識(shí)的單詞
字典當(dāng)中大量的 the a is，相當(dāng)挑戰(zhàn)我們的容忍度，這讓旁人看了，還以為我們小學(xué)沒(méi)畢業(yè)呢。去掉去掉……
眾所周知，我們采用了小學(xué)二年級(jí)就掌握的 postgrade.txt 英文字典。
- postgrade.txt 同學(xué)們肯定耳熟能詳。神奇的是第一個(gè)單詞。abandon vt.離棄，丟棄;遺棄，拋棄;放棄
- with open('postgrade.txt','r',encoding='utf-8') as f:
- f.readline()
- for l in f.readlines():
- k = l[:l.find(' ')]
- try:
- del dicts[k]
- except KeyError as e:
- pass
現(xiàn)在，字典 dicts 中，僅僅剩下所我們不認(rèn)識(shí)的，103976 - 5000 = 98976 個(gè)單詞了。
生成新字典
以詞頻單詞來(lái)查找單詞表，再把單詞和釋義存到新單詞表中，就得到新單詞表了。
- with open('f1_res.txt','w',encoding='utf-8') as wf,open('result_f1.txt','r',encoding='utf-8')as f:
- for l in f.readlines():
- k = l[:l.find(' ')]
- v = dicts.get(k,None)
- if v:
- wf.write('%s %s'%(k,v))
- wf.close()
這里第一句，兩個(gè) with 可以寫(xiě)到一句話(huà)里。這樣代碼看起來(lái)比較和諧。
查字典方法，使用v = dicts.get(k,None)，這樣查不著的單詞，返回 None，寫(xiě)入新字典時(shí)判斷這個(gè)值，就可以了。
總結(jié)
除此處介紹的生生單個(gè)文檔字典外，還可多拿幾個(gè)領(lǐng)域?qū)I(yè)文檔，提取它們的常用單詞，然后生成專(zhuān)屬字典，這字典，相當(dāng)于相關(guān)領(lǐng)域的專(zhuān)業(yè)英語(yǔ)字典。
這里使用 Python 自帶庫(kù)寫(xiě)程序，效率可能不高。如果需要，可以使用 pandas 之類(lèi)的庫(kù)來(lái)實(shí)現(xiàn)，提高效率。
作者：鞏慶奎，大奎，對(duì)計(jì)算機(jī)、電子信息工程感興趣。
分享文章：新技能Get！用Python高效背單詞
分享路徑：http://m.5511xx.com/article/dpeiecg.html
