自然語(yǔ)言處理
自然語(yǔ)言與人工(或人造)語(yǔ)言不同,前者是人類(lèi)社會(huì )中自然形成的語(yǔ)言,人們借助其進(jìn)行各種交際活動(dòng),如漢語(yǔ)、英語(yǔ)、俄語(yǔ)等;后者是通過(guò)人工設計創(chuàng )造出來(lái)的語(yǔ)言,如國際輔助語(yǔ)和計算機語(yǔ)言。自然語(yǔ)言是人類(lèi)歷史長(cháng)期發(fā)展而約定俗成的產(chǎn)物,比人工語(yǔ)言要復雜得多。 自然語(yǔ)言與人工語(yǔ)言有以下不同:①自然語(yǔ)言中充滿(mǎn)著(zhù)歧義,而人工語(yǔ)言中的歧義則是可以控制的。②自然語(yǔ)言的結構復雜多樣,而人工語(yǔ)言的結構則相對簡(jiǎn)單。③自然語(yǔ)言的語(yǔ)義表達千變萬(wàn)化,迄今還沒(méi)有一種簡(jiǎn)單而通用的途徑來(lái)描述它,而人工語(yǔ)言的語(yǔ)義則可以由人來(lái)直接定義。④自然語(yǔ)言的結構和語(yǔ)義之間有著(zhù)千絲萬(wàn)縷的、錯綜復雜的聯(lián)系,一般不存在一一對應的同構關(guān)系,而人工語(yǔ)言則常??梢园呀Y構和語(yǔ)義分別進(jìn)行處理,人工語(yǔ)言的結構和語(yǔ)義之間有著(zhù)整齊的一一對應的同構關(guān)系。
由于自然語(yǔ)言的這些獨特性質(zhì),使得自然語(yǔ)言處理成為人工智能的一大難題。自然語(yǔ)言處理一般應經(jīng)過(guò)四個(gè)方面的過(guò)程:①把需要研究的問(wèn)題在語(yǔ)言學(xué)上加以形式化,建立語(yǔ)言的形式化模型,使之能以一定的數學(xué)形式,嚴密而規整地表示出來(lái),這個(gè)過(guò)程可以叫作“形式化”。②把這種嚴密而規整的數學(xué)形式表示為算法,這個(gè)過(guò)程可以叫作“算法化”。③根據算法編寫(xiě)計算機程序,使之在計算機上加以實(shí)現,建立各種實(shí)用的自然語(yǔ)言處理系統,這個(gè)過(guò)程可以叫作“程序化”。④對于所建立的自然語(yǔ)言處理系統進(jìn)行評測,使之不斷地改進(jìn)質(zhì)量和性能,以滿(mǎn)足用戶(hù)的要求,這個(gè)過(guò)程可以叫作“實(shí)用化”。
為了研究自然語(yǔ)言處理,不僅要有語(yǔ)言學(xué)方面的知識,而且還要有數學(xué)和計算機科學(xué)方面的知識,因此自然語(yǔ)言處理就成了一門(mén)界乎語(yǔ)言學(xué)、數學(xué)和計算機科學(xué)之間的邊緣性的交叉學(xué)科,它同時(shí)涉及文科、理科和工科三大領(lǐng)域。 自然語(yǔ)言處理的目的在于建立各種自然語(yǔ)言處理系統,如機器翻譯系統、自然語(yǔ)言理解系統、信息自動(dòng)檢索系統、信息自動(dòng)抽取系統、文本信息挖掘系統、術(shù)語(yǔ)數據庫系統、計算機輔助教學(xué)系統、語(yǔ)音自動(dòng)識別系統、語(yǔ)音自動(dòng)合成系統、文字自動(dòng)識別系統等。 自然語(yǔ)言理解是自然語(yǔ)言處理的核心,其中包括語(yǔ)音和語(yǔ)符的自動(dòng)識別以及語(yǔ)音的自動(dòng)合成。語(yǔ)言之間的自動(dòng)翻譯是一種高級的人工智能,涉及兩種或多種自然語(yǔ)言的理解和處理問(wèn)題。上述項目都還處于研究實(shí)驗或初步應用的階段。自然語(yǔ)言處理中智能較低的工作,如語(yǔ)料的統計、分類(lèi)、檢索等,早已付諸應用。
在自然語(yǔ)言處理的領(lǐng)域內,計算語(yǔ)言學(xué)工作者所研究的只是它的一般理論和方法,以及與語(yǔ)文信息加工有關(guān)的基礎性工作。隨著(zhù)計算機科學(xué)和語(yǔ)言學(xué)的發(fā)展,自然語(yǔ)言處理的條件將逐步改善,它的技術(shù)將逐步提高,同時(shí),它所起的作用也會(huì )越來(lái)越大。 2018年后,自然語(yǔ)言處理進(jìn)入了大語(yǔ)言模型(large language model,簡(jiǎn)稱(chēng)LLM)階段,基本形成了一套近乎完備的技術(shù)體系,包括詞嵌入、編碼器-解碼器的端對端語(yǔ)言模型、注意力機制、Transformer模型以及BERT預訓練模型等。這一套技術(shù)體系有力地促進(jìn)了自然語(yǔ)言處理在信息搜索、閱讀理解、機器翻譯、文本分類(lèi)、智能問(wèn)答、智能對話(huà)、網(wǎng)絡(luò )聊天、信息抽取、自動(dòng)文摘、文本生成等重要領(lǐng)域的應用,預示著(zhù)自然語(yǔ)言處理將要開(kāi)啟大規模工業(yè)化實(shí)施的時(shí)代。
免責聲明:本站詞條系由網(wǎng)友創(chuàng )建、編輯和維護,內容僅供參考。
以上內容均為商業(yè)內容展示,僅供參考,不具備專(zhuān)業(yè)問(wèn)題解決服務(wù),
如果您需要解決具體問(wèn)題(尤其在法律、醫學(xué)等領(lǐng)域),建議您咨詢(xún)相關(guān)領(lǐng)域的專(zhuān)業(yè)人士。
如您發(fā)現詞條內容涉嫌侵權,請通過(guò) 948026894@qq.com 與我們聯(lián)系進(jìn)行刪除處理!

