建站
咨詢
售后
建站咨詢
新聞中心
本文基于以前的 RNN 模型研究，提出了一種有序神經(jīng)元，該神經(jīng)元能夠強制執(zhí)行隱藏狀態(tài)神經(jīng)元之間更新頻率的順序，并且將潛在樹結(jié)構整合到循環(huán)模型中。此外，本文提出的一種新 RNN 單元在語言建模、無監(jiān)督成分句法分析、有針對性的語法評估及邏輯推理四個任務上都表現(xiàn)優(yōu)異。
創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務領域包括：網(wǎng)站設計制作、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務，滿足客戶于互聯(lián)網(wǎng)時代的北關網(wǎng)站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設合作伙伴！
引言
雖然自然語言通常以序列形式呈現(xiàn)，但語言的基本結(jié)構并不是嚴格序列化的。語言學家們一致認為，該結(jié)構由一套規(guī)則或語法控制(Sandra & Taft，2014)，且規(guī)定了單詞組成語句的邏輯。不管其表現(xiàn)形式如何，這種結(jié)構通常是樹狀的。雖然語言學家們已發(fā)現(xiàn)這一規(guī)律，但其潛在結(jié)構的真正起源卻仍不得而知。某些理論認為，這可能與人類認知的內(nèi)在機制相關(Chomsky & Lightfoot，2002)。由于人工神經(jīng)網(wǎng)絡的靈感來源于生物神經(jīng)系統(tǒng)的信息處理及通訊模式，上述可能性讓更多人對使用人工神經(jīng)網(wǎng)絡研究語言的潛在結(jié)構產(chǎn)生了興趣。
從實用角度看，將樹結(jié)構集成到語言模型中也很重要，原因如下：
- 能獲得抽象化級別不斷提升的分層表征，抽象化也是深度神經(jīng)網(wǎng)絡的關鍵特征(Bengio 等，2009; LeCun 等，2015; Schmidhuber，2015);
- 能捕獲復雜語言現(xiàn)象，如長期依賴問題(Tai 等，2015)與組分效應(compositional effects)(Socher 等，2013);
- 能為梯度反向傳播提供捷徑(Chung 等，2016)。
近些年，很多人開始關注開發(fā)能夠利用語法知識或至少一些樹結(jié)構(Williams 等，2018;Shi 等，2018)來形成更好語義表征的深度神經(jīng)網(wǎng)絡(Shen 等，2017; Jacob 等，2018;Bowman 等，2016;Choi 等，2018;Yogatama 等，2016)。
獲得樹結(jié)構的一種簡單方法是通過監(jiān)督語法分析器。這些分析器生成的樹結(jié)構被用來指導單詞語義到句子語義的組合(Socher 等，2013;Bowman 等，2015)，甚至在給定先前單詞的情況下幫助預測下一個單詞(Wu 等，2017)。然而，監(jiān)督分析器也有一些局限性：1)很少有語言具有用于監(jiān)督分析器訓練的全面注釋數(shù)據(jù);2)在可用的語言數(shù)據(jù)中，語法規(guī)則往往被打破「如推特上的表達」;3)在實際運用過程中，語言始終在變化，因此語法規(guī)則可能會演變。
另一方面，以無監(jiān)督方式從可用數(shù)據(jù)中學習樹結(jié)構仍是一個未解決的問題。訓練過程中的繁瑣結(jié)構(如左分支樹結(jié)構、右分支樹結(jié)構(Williams 等，2018))或強化學習訓練困境(Yogatama 等，2016)，使許多研究無功而返。而且，一些方法的實現(xiàn)和訓練相對復雜，如 Shen 等人提出的 PRPN(2017)。
循環(huán)神經(jīng)網(wǎng)絡(RNN)已被證明在語言建模任務中非常高效(Merity 等，2017;Melis 等，2017)。RNN 隱式地在數(shù)據(jù)上強加了鏈式結(jié)構。該鏈式結(jié)構似乎與語言的潛在非序列化結(jié)構不一致，并且給運用深度學習方法處理自然語言數(shù)據(jù)帶來了一些困難，如捕獲長期依賴(Bengio 等，2009)、獲得良好泛化能力(Bowman 等，2015)及處理否定 (Socher 等，2013)等。同時，有證據(jù)表明，擁有充足能力的循環(huán)神經(jīng)網(wǎng)絡有潛力隱式地編碼這種樹結(jié)構(Kuncoro 等，2018)。但問題是，在模型架構上強加樹結(jié)構歸納先驗會導致更好的語言模型嗎?
本文介紹了一種面向循環(huán)神經(jīng)網(wǎng)絡的新型歸納偏置：有序神經(jīng)元。這種歸納偏置增強了神經(jīng)元之間的依賴性，這種依賴性反映了每個神經(jīng)元內(nèi)所存儲信息的生命周期。換言之，一些高級神經(jīng)元儲存長期信息，而低級神經(jīng)元儲存短期信息。為了避免高級和低級神經(jīng)元之間的固定劃分，本文進一步提出了一種新的激活函數(shù) cumax()來主動分配神經(jīng)元去存儲長/短期信息?；?cumax()和長短期記憶網(wǎng)絡(LSTM)架構，本文設計了一種新模型──ON-LSTM，它使 RNN 模型能夠能夠在不破壞其序列形式的情況下執(zhí)行樹狀合成。該模型在語言建模、無監(jiān)督成分句法分析(unsupervised constituency parsing)、有針對性的語法評估(Marvin & Linzen, 2018)及邏輯推理(Bowman 等，2015)四個任務上表現(xiàn)優(yōu)異。其在無監(jiān)督成分句法分析任務上的結(jié)果表明，本文提出的歸納偏置與人類專家提出語法原則是一致的。我們的實驗還表明，就長期依賴和較長序列泛化而言，ON-LSTM 比標準 LSTM 模型性能更佳，
論文：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS
論文鏈接：https://openreview.net/forum?id=B1l6qiR5F7?
摘要：循環(huán)神經(jīng)網(wǎng)絡模型已被廣泛用于處理由潛在樹結(jié)構控制的序列數(shù)據(jù)。以前的研究表明，RNN 模型(尤其是基于 LSTM 的模型)能夠?qū)W習利用潛在樹結(jié)構。然而，它的性能卻始終落后于基于樹的模型。我們提出了一種新的歸納偏置──有序神經(jīng)元(Ordered Neuron)，它強制執(zhí)行了隱藏狀態(tài)神經(jīng)元之間更新頻率的順序。本文表明，有序神經(jīng)元能夠?qū)撛跇浣Y(jié)構明確整合到循環(huán)模型中。為此，我們提出了一種新的 RNN 單元：ON-LSTM，其在語言建模、無監(jiān)督成分句法分析、有針對性的語法評估及邏輯推理四個任務上表現(xiàn)優(yōu)異。
圖 1
圖 1：成分句法分析樹與 ON-LSTM 的關系。給定 token 序列 (x1, x2, x3)，其成分句法分析樹如圖(a)所示。圖(b)展示了樹結(jié)構的塊狀圖，其中 S 與 VP 節(jié)點都跨越了不止一個時間步。高級節(jié)點的表征在跨越多個時間步時應保持相對一致。圖(c)展示了每組神經(jīng)元在每個時間步的更新神經(jīng)元比例。在每個時間步，給定輸入詞，較深的灰色塊代表完全更新，較淺的灰色塊代表部分更新。三組神經(jīng)元的更新頻率不盡相同。較高級別的組更新頻率較低，而較低級別的組更新頻率較高。
ON-LSTM
本文提出了一種新的 RNN 單元──ON-LSTM，作為有序神經(jīng)元的實現(xiàn)。該新模型與標準 LSTM 模型的架構相似。
ON-LSTM 與標準 LSTM 模型的唯一區(qū)別在于，我們排除了單元狀態(tài) ct 的更新功能，并以新的更新規(guī)則替代，后續(xù)章節(jié)將會詳細解釋。與之前一樣，運用遺忘門 ft 與輸入門 it 控制單元狀態(tài) ct 上的清除和寫入操作。一般來說，由于標準 LSTM 的門不會在其各個單元中強加拓撲結(jié)構，所以各個單元的行為不會反映出排序。
實驗
表 1
表 1：賓州樹庫語言建模任務中驗證集和測試集上的單個模型困惑。標注「tied」的模型在嵌入和 softmax 權重上使用權重綁定。標注「*」的模型重點關注改進 RNN 語言模型的 softmax 部分。
表 2
表 2：在完整的 WSJ10 和 WSJ 測試集上評估無標記「parsing F1」的結(jié)果。本文的語言模型分三層，每層都提供了?dt 序列。本文給出了所有層的分析性能。RL-SPINN 和 ST-Gumbel 的結(jié)果在完整的 WSJ(Williams 等，2017)上評估。PRPN 模型在 WSJ 測試集(Htut 等，2018)上評估。
表 3
表 3：ON-LSTM 和 LSTM 在每個測試案例上的整體準確率?！窵ong-term dependency」表示目標詞對之間存在一個不相關的短語或從句，而「short-term dependency」意味著沒有這猴子那個分散注意力的情況。
【本文是專欄機構大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
戳這里，看該作者更多好文
網(wǎng)頁名稱：這種有序神經(jīng)元，像你熟知的循環(huán)神經(jīng)網(wǎng)絡嗎？
URL地址：http://m.5511xx.com/article/dpjsjgs.html
