在自然語言處理（NLP）上，從小規(guī)模受限語言處理走向大規(guī)模真實(shí)文本處理，是一個意義深遠(yuǎn)的里程碑式的轉(zhuǎn)折。
不管經(jīng)過多少時間，語料庫方法和統(tǒng)計語言模型依然是當(dāng)前中文信息處理的主流技術(shù)。
作者簡介：
----黃昌寧
---- 1961年畢業(yè)于清華大學(xué)自動控制系，現(xiàn)任微軟亞洲研究院高級研究員兼博士后工作站負(fù)責(zé)人，此前他是清華大學(xué)計算機(jī)系的教授和博士生導(dǎo)師，長期領(lǐng)導(dǎo)清華大學(xué)計算語言學(xué)課題組的科研與教學(xué)工作。
從20世紀(jì)50年代初機(jī)器翻譯課題被提出算起，自然語言處理（NLP）的研發(fā)歷史至少也有50年了。90年代初,NLP的研究目標(biāo)開始從小規(guī)模受限語言處理走向大規(guī)模真實(shí)文本處理。把這個新目標(biāo)正式列入大會主題的是1990年在赫爾辛基舉行的“第13屆國際計算語言學(xué)大會”。那些只有幾百個詞條和數(shù)十條語法規(guī)則的受限語言分析系統(tǒng)，通常被業(yè)內(nèi)人士戲稱為“玩具”，不可能有什么實(shí)用價值。政府、企業(yè)和廣大計算機(jī)用戶期盼的是像漢字輸入、語音聽寫機(jī)、文-語轉(zhuǎn)換(TTS)、搜索引擎、信息抽取(IE)、信息安全和機(jī)器翻譯（MT）那樣的、有能力處理大規(guī)模真實(shí)文本的實(shí)用化系統(tǒng)。 正是基于對這個里程碑式轉(zhuǎn)折的關(guān)注，筆者在1993年就列舉了四種大規(guī)模真實(shí)文本處理的應(yīng)用前景:新一代信息檢索系統(tǒng);按客戶要求編輯的報紙;信息抽取，即把非結(jié)構(gòu)化的文本轉(zhuǎn)化為結(jié)構(gòu)化的信息庫;大規(guī)模語料庫的自動標(biāo)注。值得慶幸的是，今天所有這四個方向都有了實(shí)用化或商品化的成果。 盡管全世界都把大規(guī)模真實(shí)文本處理看做是NLP的一個戰(zhàn)略目標(biāo)，但這不等于說受限領(lǐng)域的機(jī)器翻譯、語音對話、電話翻譯和其他一些基于深層理解的自然語言分析技術(shù)或理論研究，就不應(yīng)當(dāng)再搞了。目標(biāo)和任務(wù)的多樣化是學(xué)術(shù)界繁榮昌盛的一個標(biāo)志。問題是要考慮清楚NLP的主戰(zhàn)場在哪里，我們的主力應(yīng)當(dāng)部署在哪里。 中文難辦嗎？ 談到中文信息處理所面臨的重大應(yīng)用課題，如企業(yè)和廣大計算機(jī)用戶所期盼的漢字輸入、語音識別等，大家似乎并沒有什么分歧。但是當(dāng)討論深入到實(shí)現(xiàn)這些課題的方法或技術(shù)路線時，分歧馬上就涇渭分明了。第一種意見認(rèn)為，中文信息處理的本質(zhì)是漢語理解，也就是要對漢語真實(shí)文本實(shí)施句法-語義分析。持這種意見的學(xué)者主張，以往在中文信息處理中使用的概率統(tǒng)計方法已經(jīng)走到了盡頭，為了在理解或語言層面上解決中文信息處理問題，就必須另辟蹊徑，這條蹊徑便是語義學(xué)。據(jù)說這是因?yàn)闈h語不同于西方語言，漢語的句法相當(dāng)靈活，漢語本質(zhì)上是一種意合語言等。 與上述意見相對立的觀點(diǎn)是:前面提到的絕大多數(shù)應(yīng)用系統(tǒng)（MT除外）其實(shí)都是在沒有句法-語義分析的情況下實(shí)現(xiàn)的，因此談不上“理解”。 如果一定要說“理解”，那么只是用圖靈實(shí)驗(yàn)來證實(shí)的所謂“理解”。 上述雙方爭論的焦點(diǎn)是方法，但目標(biāo)和方法通常是密不可分的。如果我們同意把大規(guī)模真實(shí)文本處理作為NLP的戰(zhàn)略目標(biāo)，那么實(shí)現(xiàn)這一目標(biāo)的理論和方法也必然要跟著變化。無獨(dú)有偶，1992年在蒙特利爾召開的“第四屆機(jī)器翻譯的理論和方法國際會議(TMI-92)”宣布大會的主題是“機(jī)器翻譯中的經(jīng)驗(yàn)主義和理性主義方法”。這就是公開承認(rèn)，在傳統(tǒng)的基于語言學(xué)和人工智能方法（即理性主義）的NLP技術(shù)以外，還有一種基于語料庫和統(tǒng)計語言模型的新方法（即經(jīng)驗(yàn)主義）正在迅速崛起。 NLP的戰(zhàn)略目標(biāo)和相應(yīng)的語料庫方法都是從國際學(xué)術(shù)舞臺的大視野中獲得的，中文信息處理自然也不例外。那種認(rèn)為中文文本處理特別困難，以至要另辟蹊徑的觀點(diǎn)，缺少有說服力的事實(shí)根據(jù)。拿信息檢索(IR)來說，它的任務(wù)是從一個大規(guī)模的文檔庫中尋找與用戶的查詢相關(guān)的文檔。怎樣表示文檔和查詢的內(nèi)容，以及如何度量文檔和查詢之間的相關(guān)程度，就成為IR技術(shù)需要解決的兩個基本問題。召回率和精確率則是評價一個IR系統(tǒng)的兩個主要指標(biāo)。由于文檔和查詢都是用自然語言表述的，這個任務(wù)可以用來說明中文和西方語言所面臨的問題和所采用的方法其實(shí)是十分相似的。一般來說，各文種的IR系統(tǒng)都用文檔和查詢中的詞頻(tf)和倒文檔頻率(idf)來表示文檔和查詢的內(nèi)容，所以本質(zhì)上是一種統(tǒng)計方法。 世界文本檢索大會TREC (http://trec.nist.gov/ ) 的最大特點(diǎn)是通過提供大規(guī)模訓(xùn)練語料和統(tǒng)一評測方法來支持IR技術(shù)的研發(fā)。研究團(tuán)隊必須通過大會的統(tǒng)一評測并名列前茅，才能獲準(zhǔn)到會上來做報告。1992年起TREC每年舉辦一屆大會，并得到美國國防部（DARPA）和國家標(biāo)準(zhǔn)技術(shù)局（NIST）的資助。會議對包括中文、日文在內(nèi)的多文種文檔庫開展了IR評測。結(jié)果表明，中文IR并沒有因?yàn)榇嬖诜衷~問題就比其他文種做得差，而且迄今沒有證據(jù)表明各語種的NLP，包括基于概念的或基于句法-語義分析的技術(shù)，能明顯提高IR系統(tǒng)的性能。 什么是主流技術(shù)？ 語料庫方法和統(tǒng)計語言模型不但沒有過時，而且在可比的統(tǒng)一評測中被證明是當(dāng)前各國語言信息處理的一種主流技術(shù)。 1. N元模型 設(shè)wi是文本中的任意一個詞，如果已知它在該文本中的前兩個詞 wi-2w-1，便可以用條件概率P(wi|wi-2w-1)來預(yù)測wi出現(xiàn)的概率。這就是統(tǒng)計語言模型的概念。一般來說，如果用變量W代表文本中一個任意的詞序列，它由順序排列的n個詞組成，即W=w1w2...wn，則統(tǒng)計語言模型就是該詞序列W在文本中出現(xiàn)的概率P(W)。利用概率的乘積公式，P(W)可展開為： P(W) = P(w1)P(w2|w1)P(w3| w1 w2)...P(wn|w1 w2...wn-1) 不難看出，為了預(yù)測詞wn的出現(xiàn)概率，必須知道它前面所有詞的出現(xiàn)概率。從計算上來看，這種方法太復(fù)雜了。如果任意一個詞wi的出現(xiàn)概率只同它前面的兩個詞有關(guān)，問題就可以得到極大的簡化。 這時的語言模型叫做三元模型 (tri-gram): P(W)≈P(w1)P(w2|w1)∏i(i=3,...,nP(wi|wi-2w-1) 符號∏i i=3,...,n P(...) 表示概率的連乘。一般來說，N元模型就是假設(shè)當(dāng)前詞的出現(xiàn)概率只同它前面的N-1個詞有關(guān)。重要的是這些概率參數(shù)都是可以通過大規(guī)模語料庫來計算的。比如三元概率有 P(wi|wi-2wi-1) ≈ count(wi-2wi-1wi) /count(wi-2wi-1) 式中count(...) 表示一個特定詞序列在整個語料庫中出現(xiàn)的累計次數(shù)。 統(tǒng)計語言模型有點(diǎn)像天氣預(yù)報中使用的概率方法，用來估計概率參數(shù)的大規(guī)模語料庫好比是一個地區(qū)歷年積累起來的氣象記錄。而用三元模型來做天氣預(yù)報，就好比是根據(jù)前兩天的天氣情況來預(yù)測今天的天氣。天氣預(yù)報當(dāng)然不可能百分之百準(zhǔn)確，但是我們大概不會因此就全盤否定這種實(shí)用的概率方法吧。 2. 語音識別 語音識別作為計算機(jī)漢字輸入的另一種方式越來越受到業(yè)內(nèi)人士的青睞。所謂聽寫機(jī)就是語音識別的一種商品。那么當(dāng)前商品化的聽寫機(jī)采用的是什么技術(shù)呢？ 其實(shí)，語音識別任務(wù)可視為對以下條件概率極大值的計算問題： W*= argmaxW P(W|speech signal) = argmaxW P(speech signal|W) P(W) / P(speech signal) = argmaxW P(speech signal|W) P(W) 式中數(shù)學(xué)符號argmaxW 表示對不同的候選詞序列W計算條件概率P(W|speech signal)的值，從而使W*成為條件概率值最大的詞序列。它也就是當(dāng)前輸入語音信號speech signal所對應(yīng)的輸出詞串了。 公式第二行是利用貝葉斯定律轉(zhuǎn)寫的結(jié)果，因?yàn)闂l件概率P(speech signal|W)比較容易估值。公式的分母P(speech signa ) 對給定的語音信號是一個常數(shù)，不影響極大值的計算，故可以從公式中刪除。在公式第三行所示的結(jié)果中，P(W)叫做統(tǒng)計語言模型；P(speech signal|W) 叫做聲學(xué)模型。 據(jù)調(diào)查，目前市場上中文和英文的聽寫機(jī)產(chǎn)品都是用詞的三元模型實(shí)現(xiàn)的, 幾乎完全不用句法-語義分析手段。這說明不同語言的產(chǎn)品技術(shù)往往是相通的。沒有證據(jù)表明，中、英兩種語言的聽寫機(jī)在性能指標(biāo)上有顯著的差異。所以那種斷言中文信息處理一定比西方語言困難，實(shí)現(xiàn)中文信息處理必須另辟蹊徑的說法，其實(shí)是站不住腳的。 三元模型（或一般的N元模型）只利用了語言的表層信息（或知識），即符號（字、詞、詞性標(biāo)記等）序列的同現(xiàn)信息。誰也沒有說它是十全十美的。在這一領(lǐng)域中，下一個研究目標(biāo)應(yīng)當(dāng)是結(jié)構(gòu)化對象（如句法樹或語義框架）的統(tǒng)計模型。當(dāng)然能做到語言理解是了不起的成果，它肯定會比目前這種統(tǒng)計語言模型強(qiáng)得多，這是不爭的事實(shí)。問題是目前國內(nèi)外還沒有哪一種語言的句法-語義分析系統(tǒng)可以勝任大規(guī)模真實(shí)文本處理的重任。因此，對于世界各國的語言來說，當(dāng)前的主流技術(shù)仍是語料庫方法和統(tǒng)計語言模型。 3. 詞性標(biāo)注 至少像短語結(jié)構(gòu)文法這樣一類的語法規(guī)則是建立在詞類基礎(chǔ)上的。無怪乎語言學(xué)界有句行話說，沒有詞類就沒法講語法了。所以在自然語言的句法分析過程中，大概都有一個詞性標(biāo)注的階段。不難理解，漢語的自動分詞和詞性標(biāo)注的精確率，將直接影響到后續(xù)的句法分析結(jié)果。據(jù)觀察，在漢語句法分析結(jié)果中，有高達(dá)60%的分析錯誤來源于分詞和詞性標(biāo)注的錯誤。 在英語的詞庫中約 14% 的詞形(type)具有不只一個詞性，而在一個語料庫中，總詞次數(shù)(tockens)中約 30% 是兼類詞。從這個統(tǒng)計數(shù)字中可以估計出詞性標(biāo)注任務(wù)的難度。歷史上曾經(jīng)先后出現(xiàn)過兩個方法迥異的英語詞性標(biāo)注系統(tǒng)：TAGGIT系統(tǒng)擁有3000條上下文相關(guān)規(guī)則， 而CLAWS系統(tǒng)完全采用概率統(tǒng)計方法。兩個系統(tǒng)各自完成了100萬詞次的英語語料庫的自動詞性標(biāo)注任務(wù)。評則結(jié)果（見下表）表明，采用概率統(tǒng)計方法的CLAWS系統(tǒng)的標(biāo)注精度達(dá)到96%，比TAGGIT系統(tǒng)提高了近20個百分點(diǎn)。經(jīng)過改進(jìn)的CLAWS系統(tǒng)日后承擔(dān)了英國國家語料庫BNC一億條英語詞的詞性標(biāo)注任務(wù)。 具體來說，CLAWS系統(tǒng)采用的是詞類標(biāo)記的二元模型。如果令 C = c1...cn 和 W = w1...wn分別代表詞類標(biāo)記序列和詞序列，則詞性標(biāo)注任務(wù)可視為在已知詞序列W的情況下，計算如下條件概率極大值的問題： C*= argmaxC P(C|W) = argmaxC P(W|C)P(C) / P(W) ≈ argmaxC ∏i i=1,...,nP(wi|ci)P(ci|ci-1 ) P(C|W) 表示：已知輸入詞序列W的情況下，出現(xiàn)詞類標(biāo)記序列C的條件概率。數(shù)學(xué)符號argmaxC 表示通過考察不同的候選詞類標(biāo)記序列C, 來尋找使條件概率P(C|W) 取最大值的那個詞序列W*。后者應(yīng)當(dāng)就是對W的詞性標(biāo)注結(jié)果。 公式第二行是利用貝葉斯定律轉(zhuǎn)寫的結(jié)果，由于分母P(W) 對給定的W是一個常數(shù)，不影響極大值的計算，故可以從公式中刪除。接著對公式進(jìn)行近似。首先，引入獨(dú)立性假設(shè)，認(rèn)為詞序列中的任意一個詞wi的出現(xiàn)概率近似，只同當(dāng)前詞的詞性標(biāo)記ci有關(guān)，而與周圍（上下文）的詞類標(biāo)記無關(guān)。即詞匯概率 P(W|C) ≈ ∏i i=1,...,nP(wi|ci ) 其次，采用二元假設(shè)，即近似認(rèn)為任意詞類標(biāo)記 ci的出現(xiàn)概率只同它緊鄰的前一個詞類標(biāo)記ci-1有關(guān)。因此有: P(C) ≈∏i i=,...,n P(ci|ci-1) P(ci|ci-1) 是詞類標(biāo)記的轉(zhuǎn)移概率，也叫做二元模型。 上述這兩個概率參數(shù)也都可以通過帶詞性標(biāo)記的語料庫來分別估計： P(wi|ci) ≈ count(wi,ci) / count(ci) P(ci|ci-1) ≈ count(ci-1ci) / count(ci-1) 順便指出，國內(nèi)外學(xué)者用詞類標(biāo)記的二元或三元模型實(shí)現(xiàn)的中、英文詞性自動標(biāo)注都達(dá)到了約95%的標(biāo)注精確率。 評測為什么是惟一的評判標(biāo)準(zhǔn) 有評測才會有鑒別。評判一種方法優(yōu)劣的惟一標(biāo)準(zhǔn)是相互可比的評測，而不是設(shè)計人員自己設(shè)計的“自評”，更不是人們的直覺或某個人的“遠(yuǎn)見”。近年來，在語言信息處理領(lǐng)域，通過評測來推動科學(xué)技術(shù)進(jìn)步的范例很多。國家“863計劃”智能計算機(jī)專家組曾對語音識別、漢字（印刷體和手寫體）識別、文本自動分詞、詞性自動標(biāo)注、自動文摘和機(jī)器翻譯譯文質(zhì)量等課題進(jìn)行過多次有統(tǒng)一測試數(shù)據(jù)和統(tǒng)一計分方法的全國性評測，對促進(jìn)這些領(lǐng)域的技術(shù)進(jìn)步發(fā)揮了非常積極的作用。 在國際上，美國國防部先后發(fā)起的TIPSTER 和 TIDES兩個和語言信息處理相關(guān)的計劃，就被稱為“評測驅(qū)動的計劃”。它們在信息檢索(TREC)、信息抽?。∕UC）、命名實(shí)體識別（MET-2）等研究課題上，既提供大規(guī)模的訓(xùn)練語料和測試語料，又提供統(tǒng)一的計分方法和評測軟件，以保證每個研究小組都能在一種公平、公開的條件下進(jìn)行研究方法的探討，推動科學(xué)技術(shù)的進(jìn)步。TREC、MUC和MET-2等會議所組織的多文種評比活動也有力地說明，其他語言采用并證明有效的方法，對中文也一樣適用，不同文種應(yīng)用系統(tǒng)的性能指標(biāo)大體相當(dāng)。固然，每種語言都有它自己的個性，然而這些個性不應(yīng)當(dāng)被用來否定語言的共性，并在事實(shí)不足的情況下做出錯誤的判斷。 為了推動中文信息處理的發(fā)展，讓我們拿起評測這個武器，扎扎實(shí)實(shí)地研究其適用技術(shù)，不要再想當(dāng)然了。建議政府科研主管部門在制定項目計劃時，至少要在一個項目的總經(jīng)費(fèi)中拿出10%左右的撥款用于資助該項目的評測。沒有統(tǒng)一評測的研究成果，終究不是完全可信的。 （計算機(jī)世界報 第24期 B11、B12、B14）
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報。
