建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
近日，Xenonstack 上推出了一篇名為《Overview of Artificial Intelligence and Role of Natural Language Processing in Big Data》文章，作者為 Jagreet Kaur，其全面概述了人工智能及其各個(gè)細(xì)分領(lǐng)域的狀況，并著重介紹了大數(shù)據(jù)和自然語(yǔ)言處理的發(fā)展，對(duì)自然語(yǔ)言處理在大數(shù)據(jù)中扮演的角色作了探討。機(jī)器之心對(duì)文章進(jìn)行了編譯，原文鏈接附于文末。
一、人工智能概述
AI 指代「人工智能」，是讓機(jī)器能夠像人類(lèi)一樣完成智能任務(wù)的技術(shù)。AI 使用智能完成自動(dòng)化任務(wù)。
「人工智能」包含兩個(gè)關(guān)鍵點(diǎn)：
- 自動(dòng)化
- 智能
1. 人工智能的目標(biāo)
- 推理
- 自動(dòng)學(xué)習(xí)&調(diào)度
- 機(jī)器學(xué)習(xí)
- 自然語(yǔ)言處理
- 計(jì)算機(jī)視覺(jué)
- 機(jī)器人
- 通用智能
2. 人工智能三大階段
- 階段 1——機(jī)器學(xué)習(xí)：智能系統(tǒng)使用一系列算法從經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)。
- 階段 2——機(jī)器智能：機(jī)器使用的一系列從經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)的高級(jí)算法，例如深度神經(jīng)網(wǎng)絡(luò)。
人工智能目前處于此階段。
- 階段 3——機(jī)器意識(shí)：不需要外部數(shù)據(jù)就能從經(jīng)驗(yàn)中自學(xué)習(xí)。
3. 人工智能的類(lèi)型
- ANI(狹義人工智能)：它包含基礎(chǔ)的、角色型任務(wù)，比如由 Siri、Alexa 這樣的聊天機(jī)器人、個(gè)人助手完成的任務(wù)。
- AGI(通用人工智能)：通用人工智能包含人類(lèi)水平的任務(wù)，它涉及到機(jī)器的持續(xù)學(xué)習(xí)。
- ASI(強(qiáng)人工智能)：強(qiáng)人工智能指代比人類(lèi)更聰明的機(jī)器。
4. 什么使得系統(tǒng)智能化?
- 自然語(yǔ)言處理
- 知識(shí)表示
- 自動(dòng)推理
- 機(jī)器學(xué)習(xí)
二、NLP、人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)之間的區(qū)別
- 人工智能：建立能智能化處理事物的系統(tǒng)。
- 自然語(yǔ)言處理：建立能夠理解語(yǔ)言的系統(tǒng)，人工智能的一個(gè)分支。
- 機(jī)器學(xué)習(xí)：建立能從經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)的系統(tǒng)，也是人工智能的一個(gè)分支。
- 神經(jīng)網(wǎng)絡(luò)：生物學(xué)啟發(fā)出的人工神經(jīng)元網(wǎng)絡(luò)。
- 深度學(xué)習(xí)：在大型數(shù)據(jù)集上，建立使用深度神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，機(jī)器學(xué)習(xí)的一個(gè)分支。
1. 什么是自然語(yǔ)言處理?
自然語(yǔ)言處理(NLP)是指機(jī)器理解并解釋人類(lèi)寫(xiě)作、說(shuō)話方式的能力。
NLP 的目標(biāo)是讓計(jì)算機(jī)/機(jī)器在理解語(yǔ)言上像人類(lèi)一樣智能。最終目標(biāo)是彌補(bǔ)人類(lèi)交流(自然語(yǔ)言)和計(jì)算機(jī)理解(機(jī)器語(yǔ)言)之間的差距。
下面是三個(gè)不同等級(jí)的語(yǔ)言學(xué)分析：
- 句法學(xué)：給定文本的哪部分是語(yǔ)法正確的。
- 語(yǔ)義學(xué)：給定文本的含義是什么?
- 語(yǔ)用學(xué)：文本的目的是什么?
NLP 處理語(yǔ)言的不同方面，例如：
- 音韻學(xué)：指代語(yǔ)言中發(fā)音的系統(tǒng)化組織。
- 詞態(tài)學(xué)：研究單詞構(gòu)成以及相互之間的關(guān)系。
NLP 中理解語(yǔ)義分析的方法：
- 分布式：它利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的大規(guī)模統(tǒng)計(jì)策略。
- 框架式：句法不同，但語(yǔ)義相同的句子在數(shù)據(jù)結(jié)構(gòu)(幀)中被表示為程式化情景。
- 理論式：這種方法基于的思路是，句子指代的真正的詞結(jié)合句子的部分內(nèi)容可表達(dá)全部含義。
- 交互式(學(xué)習(xí))：它涉及到語(yǔ)用方法，在交互式學(xué)習(xí)環(huán)境中用戶教計(jì)算機(jī)一步一步學(xué)習(xí)語(yǔ)言。
2. 我們?yōu)槭裁葱枰?NLP
有了 NLP，有可能完成自動(dòng)語(yǔ)音、自動(dòng)文本編寫(xiě)這樣的任務(wù)。
由于大型數(shù)據(jù)(文本)的存在，我們?yōu)槭裁床皇褂糜?jì)算機(jī)的能力，不知疲倦地運(yùn)行算法來(lái)完成這樣的任務(wù)，花費(fèi)的時(shí)間也更少。
這些任務(wù)包括 NLP 的其他應(yīng)用，比如自動(dòng)摘要(生成給定文本的總結(jié))和機(jī)器翻譯。
3. NLP 流程
如果要用語(yǔ)音產(chǎn)生文本，需要完成文本轉(zhuǎn)語(yǔ)音任務(wù)
NLP 的機(jī)制涉及兩個(gè)流程：
- 自然語(yǔ)言理解
- 自然語(yǔ)言生成
4. 自然語(yǔ)言理解(NLU)
NLU 是要理解給定文本的含義。文本內(nèi)每個(gè)單詞的特性與結(jié)構(gòu)需要被理解。在理解結(jié)構(gòu)上，NLU 要理解自然語(yǔ)言中的以下幾個(gè)歧義性：
- 詞法歧義性：?jiǎn)卧~有多重含義
- 句法歧義性：語(yǔ)句有多重解析樹(shù)
- 語(yǔ)義歧義性：句子有多重含義
- 回指歧義性(Anaphoric Ambiguity)：之前提到的短語(yǔ)或單詞在后面句子中有不同的含義。
接下來(lái)，通過(guò)使用詞匯和語(yǔ)法規(guī)則，理解每個(gè)單詞的含義。
然而，有些詞有類(lèi)似的含義(同義詞)，有些詞有多重含義(多義詞)。
5. 自然語(yǔ)言生成(NLG)
NLG 是從結(jié)構(gòu)化數(shù)據(jù)中以可讀地方式自動(dòng)生成文本的過(guò)程。自然語(yǔ)言生成的問(wèn)題是難以處理。
自然語(yǔ)言生成可被分為三個(gè)階段：
- 文本規(guī)劃：完成結(jié)構(gòu)化數(shù)據(jù)中基礎(chǔ)內(nèi)容的規(guī)劃。
- 語(yǔ)句規(guī)劃：從結(jié)構(gòu)化數(shù)據(jù)中組合語(yǔ)句，來(lái)表達(dá)信息流。
- 實(shí)現(xiàn)：產(chǎn)生語(yǔ)法通順的語(yǔ)句來(lái)表達(dá)文本。
三、NLP 與文本挖掘(或文本分析)之間的不同
自然語(yǔ)言處理是理解給定文本的含義與結(jié)構(gòu)的流程。
文本挖掘或文本分析是通過(guò)模式識(shí)別提起文本數(shù)據(jù)中隱藏的信息的流程。
自然語(yǔ)言處理被用來(lái)理解給定文本數(shù)據(jù)的含義(語(yǔ)義)，而文本挖掘被用來(lái)理解給定文本數(shù)據(jù)的結(jié)構(gòu)(句法)。
例如，在「I found my wallet near the bank」一句中，NLP 的任務(wù)是理解句尾「bank」一詞指代的是銀行還是河邊。
四、大數(shù)據(jù)中的 NLP
如今所有數(shù)據(jù)中的 80% 都可被用到，大數(shù)據(jù)來(lái)自于大公司、企業(yè)所存儲(chǔ)的信息。例如，職員信息、公司采購(gòu)、銷(xiāo)售記錄、經(jīng)濟(jì)業(yè)務(wù)以及公司、社交媒體的歷史記錄等。
盡管人類(lèi)使用的語(yǔ)言對(duì)計(jì)算機(jī)而言是模糊的、非結(jié)構(gòu)化的，但有了 NLP 的幫助，我們可以解析這些大型的非結(jié)構(gòu)化數(shù)據(jù)中的模式，從而更好地理解里面包含的信息。
NLP 可使用大數(shù)據(jù)解決商業(yè)中的難題，比如零售、醫(yī)療、金融領(lǐng)域中的業(yè)務(wù)。
五、什么是聊天機(jī)器人?
1. 聊天機(jī)器人或自動(dòng)智能代理
- 指代你能通過(guò)聊天 app、聊天窗口或語(yǔ)音喚醒 app 進(jìn)行交流的計(jì)算機(jī)程序。
- 也有被用來(lái)解決客戶問(wèn)題的智能數(shù)字化助手，成本低、高效且持續(xù)工作。
2. 聊天機(jī)器人的重要性
- 聊天機(jī)器人對(duì)理解數(shù)字化客服和頻繁咨詢(xún)的常規(guī)問(wèn)答領(lǐng)域中的變化至關(guān)重要。
- 聊天機(jī)器人在一些領(lǐng)域中的特定場(chǎng)景中非常有幫助，特別是會(huì)被頻繁問(wèn)到高度可預(yù)測(cè)的的問(wèn)題時(shí)。
3. 聊天機(jī)器人的工作機(jī)制
- 基于知識(shí)：包含信息庫(kù)，根據(jù)客戶的問(wèn)題回應(yīng)信息。
- 數(shù)據(jù)存儲(chǔ)：包含與用戶交流的歷史信息。
- NLP 層：它將用戶的問(wèn)題(任何形式)轉(zhuǎn)譯為信息，從而作為合適的回應(yīng)。
- 應(yīng)用層：指用來(lái)與用戶交互的應(yīng)用接口。
聊天機(jī)器人每次與用戶交流時(shí)都能進(jìn)行學(xué)習(xí)，使用機(jī)器學(xué)習(xí)回應(yīng)信息庫(kù)中的信息。
六、NLP 中為什么需要深度學(xué)習(xí)
它使用基于規(guī)則的方法將單詞表示為「one-hot」編碼向量。
傳統(tǒng)的方法注重句法表征，而非語(yǔ)義表征。
詞袋：分類(lèi)模型不能夠分別特定語(yǔ)境。
1. 深度學(xué)習(xí)的三項(xiàng)能力
- 可表達(dá)性：這一能力描述了機(jī)器如何能近似通用函數(shù)。
- 可訓(xùn)練性：深度學(xué)習(xí)系統(tǒng)學(xué)習(xí)問(wèn)題的速度與能力。
- 可泛化性：在未訓(xùn)練過(guò)的數(shù)據(jù)上，機(jī)器做預(yù)測(cè)的能力。
在深度學(xué)習(xí)中，當(dāng)然也要考慮其他的能力，比如可解釋性、模塊性、可遷移性、延遲、對(duì)抗穩(wěn)定性、安全等。但以上是主要的幾項(xiàng)能力。
2. NLP 中深度學(xué)習(xí)的常見(jiàn)任務(wù)
3. 傳統(tǒng) NLP 和深度學(xué)習(xí) NLP 的區(qū)別
七、日志分析與日志挖掘中的 NLP
1. 什么是日志?
不同網(wǎng)絡(luò)設(shè)備或硬件的時(shí)序信息集合表示日志。日志可直接存儲(chǔ)在硬盤(pán)文檔中，也可作為信息流傳送到日志收集器。
日志提供維持、追蹤硬件表現(xiàn)、參數(shù)調(diào)整、緊急事件、系統(tǒng)修復(fù)、應(yīng)用和架構(gòu)優(yōu)化的過(guò)程。
2. 什么是日志分析?
日志分析是從日志中提取信息的過(guò)程，分析信息中的句法和語(yǔ)義，解析應(yīng)用環(huán)境，從而比較分析不同源的日志文檔，進(jìn)行異常檢測(cè)、發(fā)現(xiàn)關(guān)聯(lián)性。
3. 什么是日志挖掘?
日志挖掘或日志知識(shí)發(fā)現(xiàn)是提取日志中模式和關(guān)聯(lián)性的過(guò)程，從而挖掘知識(shí)，預(yù)測(cè)日志中的異常檢測(cè)。
4. 日志分析和日志挖掘中使用到的技術(shù)
下面介紹了完成日志分析的不同技術(shù)：
- 模式識(shí)別：將日志信息與模式薄中的信息進(jìn)行對(duì)比，從而過(guò)濾信息的技術(shù)。
- 標(biāo)準(zhǔn)化：日志信息的標(biāo)準(zhǔn)化是將不同的信息轉(zhuǎn)換為同樣的格式。當(dāng)來(lái)自不同源的日志信息有不同的術(shù)語(yǔ)，但含義相同時(shí)，需要進(jìn)行標(biāo)準(zhǔn)化。
- 分類(lèi) & 標(biāo)簽：不同日志信息的分類(lèi) & 標(biāo)簽涉及到對(duì)信息的排序，并用不同的關(guān)鍵詞進(jìn)行標(biāo)注。
- Artificial Ignorance：使用機(jī)器學(xué)習(xí)算法拋棄無(wú)用日志信息的技術(shù)。它也可被用來(lái)檢測(cè)系統(tǒng)異常。
5. 日志分析 & 日志挖掘中的 NLP
自然語(yǔ)言處理技術(shù)被普遍用于日志分析和日志挖掘。
詞語(yǔ)切分、詞干提取(stemming)、詞形還原(lemmatization)、解析等不同技術(shù)被用來(lái)將日志信息轉(zhuǎn)換成結(jié)構(gòu)化的形式。
一旦日志以很好的形式組織起來(lái)，日志分析和日志挖掘就能提取信息中有用的信息和知識(shí)。
八、深度自然語(yǔ)言處理
自然語(yǔ)言處理是一個(gè)復(fù)雜的領(lǐng)域，處于人工智能、計(jì)算語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)的交叉領(lǐng)域。
1. 從 NLP 開(kāi)始
用戶需要輸入一個(gè)包含已寫(xiě)文本的文件;接著應(yīng)該執(zhí)行以下 NLP 步驟：
- 語(yǔ)句分割 - 在給定文本中辨識(shí)語(yǔ)句邊界，即一個(gè)語(yǔ)句的結(jié)束和另一個(gè)語(yǔ)句的開(kāi)始。語(yǔ)句通常以標(biāo)點(diǎn)符號(hào)「.」結(jié)束。
- 標(biāo)記化 - 辨識(shí)不同的詞、數(shù)字及其他標(biāo)點(diǎn)符號(hào)。
- 詞干提取 - 將一個(gè)詞還原為詞干。
- 詞性標(biāo)注 - 標(biāo)出語(yǔ)句中每一個(gè)詞的詞性，比如名詞或副詞。
- 語(yǔ)法分析 - 將給定文本的部分按類(lèi)劃分。
- 命名實(shí)體識(shí)別 - 找出給定文本中的人物、地點(diǎn)、時(shí)間等。
- 指代消解 - 根據(jù)一個(gè)語(yǔ)句的前句和后句界定該句中給定詞之間的關(guān)系。
九、NLP 的其他關(guān)鍵應(yīng)用領(lǐng)域
除了在大數(shù)據(jù)、日志挖掘及分析中的應(yīng)用，NLP 還有一些其他主要應(yīng)用領(lǐng)域。
盡管 NLP 不如大數(shù)據(jù)、機(jī)器學(xué)習(xí)聽(tīng)起來(lái)那么火，但我們每天都在使用它：
- 自動(dòng)摘要 - 在給定輸入文本的情況下，擯棄次要信息完成文本摘要。
- 情感分析 - 在給定文本中預(yù)測(cè)其主題，比如，文本中是否包含判斷、觀點(diǎn)或評(píng)論等。
- 文本分類(lèi) - 按照其領(lǐng)域分類(lèi)不同的期刊、新聞報(bào)道。多文檔分類(lèi)也是可能的。文本分類(lèi)的一個(gè)流行示例是垃圾電子郵件檢測(cè)。基于寫(xiě)作風(fēng)格，可檢測(cè)作者姓名。
- 信息提取 - 建議電子郵件程序自動(dòng)添加事件到日歷。
原文：https://www.xenonstack.com/blog/overview-of-artificial-intelligence-and-role-of-natural-language-processing-in-big-data
【本文是專(zhuān)欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
戳這里，看該作者更多好文
當(dāng)前名稱(chēng)：人工智能與自然語(yǔ)言處理概述：AI三大階段、NLP關(guān)鍵應(yīng)用領(lǐng)域
URL鏈接：http://m.5511xx.com/article/dhcdoce.html
