中文詞語分析一體化系統(tǒng).ppt
《中文詞語分析一體化系統(tǒng).ppt》由會員分享,可在線閱讀,更多相關(guān)《中文詞語分析一體化系統(tǒng).ppt(30頁珍藏版)》請在裝配圖網(wǎng)上搜索。
,張華平 劉 群 zhanghp@ 中科院計算技術(shù)研究所 2002-5-28,中文詞語一體化分析,綱要,問題背景與難點分析 主要研究方法與相關(guān)系統(tǒng) 我們的研究思路—基于多層HMM的一體化方法 基于N-最短路徑的詞語粗分 基于角色標(biāo)注的未登錄詞識別 計算所中文詞語一體化分析系統(tǒng)ICTCLAS 結(jié)論,問題背景與難點分析,問題背景,漢語的書面語是按句分開的,詞與詞之間沒有明確的分隔標(biāo)記。 詞是最小的能夠獨立活動的有意義的語言成分 。 中文信息處理只要涉及句法、語義(如檢索、翻譯、文摘、校對等應(yīng)用),就需要以詞為基本單位。句法分析、語句理解、自動文摘、自動分類和機(jī)器翻譯等,更是少不了詞的詳細(xì)信息 。,問題背景與難點分析 II,分詞的必要性,物,理,學(xué),physics,products,…,price,image,body,theory,barber,science,understand,reason,school,study,credit,student,subject,物理學(xué),physics,physicist,,,,,,,,,…,…,,,,,,,evidence,,,,,,,,,6 5 5 = 150 : 2,,問題背景與難點分析 III,中文詞語分析的主要難點 歧義 交叉歧義(86%): 結(jié)合成分子時 組合歧義(14%): 這個人手上有痣; 我們?nèi)比耸?全局歧義與局部歧義: 乒乓球拍/賣/完了; 乒乓球/拍賣/完了; 我很/難過,問題背景與難點分析 IV,未登錄詞問題 干擾作用 克林頓對內(nèi)塔尼亞胡說 龔學(xué)平等領(lǐng)導(dǎo) 最終識別 多樣性 復(fù)雜性 上下文干擾,主要研究方法與相關(guān)系統(tǒng),當(dāng)前主要的研究方法 基于規(guī)則的方法 最大匹配法(Maximum Matching)正向、逆向、雙向 最優(yōu)路徑(+詞頻選擇)法(最少分詞法) 基于統(tǒng)計的方法 (N元語法,HMM) 基于規(guī)則和基于統(tǒng)計相結(jié)合 其他的一些方法 (壓縮,自監(jiān)督,基于轉(zhuǎn)移的錯誤驅(qū)動方法等),主要研究方法與相關(guān)系統(tǒng)II,當(dāng)前主要的中文詞語分析系統(tǒng) 哈工大統(tǒng)計分詞系統(tǒng) 自動化所三元統(tǒng)計模型 清華大學(xué)SEGTAG系統(tǒng) 詞典中的每一個重要的詞都加上了切分標(biāo)志 無條件切出qk類詞;完全切分ck類詞;其他無交叉歧義的切之,否則全切分。 “動態(tài)規(guī)劃“和“全切分搜索+葉子評價“,主要研究方法與相關(guān)系統(tǒng)III,Microsoft Research多國語言處理平臺NLPWin中的中文詞語分析詞系統(tǒng) 雙向的Chart Parsing,使用了語法規(guī)則并以概率模型作導(dǎo)向 切詞-句法分析一體化 北大計算語言所分詞和詞類標(biāo)注系統(tǒng) 分詞和詞類標(biāo)注結(jié)合起來 基于規(guī)則的標(biāo)注排歧與基于語料庫統(tǒng)計模型的排歧結(jié)合 處理過程包括了自動切分和初始詞性標(biāo)記、切分歧義字段識別、組詞和標(biāo)注預(yù)處理、詞性標(biāo)記排歧、切分和詞性標(biāo)注后處理,主要研究方法與相關(guān)系統(tǒng)IV,現(xiàn)有方法的一些潛在不足(待探討): 規(guī)則與統(tǒng)計的結(jié)合,更大意義上是一種組合,兩種處理出現(xiàn)在系統(tǒng)中相對獨立的兩個不同階段。 排歧、識別未登錄詞更多的是利用規(guī)則,難以量化。即使量化,也很難和普通詞實現(xiàn)真正量值上的比較。 歧義字段、未登錄詞作為特殊情況處理,后期處理中沒有與普通詞統(tǒng)一。 沒有相對統(tǒng)一的處理模型和評估體系。 最終導(dǎo)致:準(zhǔn)確率、召回率在開放測試的條件下并不像宣稱的那樣理想,尤其是在未登錄詞、歧義字段存在的情況里。,我們的研究思路 —基于多層HMM的一體化方法,目標(biāo): 分詞、詞性標(biāo)注的一體化;未登錄詞與普通詞處理的一體化;評估體系一體化。 基本思想: 采取HMM模型,建立切分詞圖。詞語粗分階段,先得出N個概率最大的切分結(jié)果。然后,利用角色標(biāo)注方法識別未登錄詞,并計算其概率,將未登錄詞加入到切分詞圖中,之后視它為普通詞處理,最終進(jìn)行動態(tài)規(guī)劃優(yōu)選出N個最大概率切分標(biāo)注結(jié)果。,基于多層HMM的一體化方法II,利用噪聲-信道模型,建立目標(biāo)評估函數(shù),其中 C:原始字串;W:切分的詞串;T:詞性標(biāo)注序列 ∵ P(C|W)=1→P(CW)=P(W) P((W,T)|C)=P(T|CW)P(W|C)=P(T|W)P(W|C) =P(T)P(W|T)/P(W) ? P(W)/P(C) = P(T)P(W|T)/P(C) (字串C出現(xiàn)的概率P(C)為一常數(shù),不影響結(jié)果,可以忽略),(W,T)*= …….……………………(0),基于多層HMM的一體化方法III,利用隱馬模型展開P(T)P(W|T),并引入共現(xiàn)概率 P((W,T)|C) =ΠP(ti|ti-1)P(wi|ti).…………………………….(1) P*(W,T)=lnP(W,T) =ln Π P(wi|ti) =Σ ln P(ti|ti-1) + Σ ln P(wi|ti) …………………….(2) ∴ 評價函數(shù)或者決策函數(shù)如下: (W,T)*= [Σ ln P(ti|ti-1) + Σ ln P(wi|ti)],,基于多層HMM的一體化方法IV,一體化需要解決的主要問題 排歧問題 未登錄詞的概率問題P(wi|ti) P(張華平|nr)? P(奧斯特羅夫斯基|nr)? P(大石頭村|ns)?,基于N-最短路徑的詞語粗分,基本思想 根據(jù)詞典,建立字串詞語切分有向無環(huán)圖。每個詞對應(yīng)圖中的一條有向邊,并賦給相應(yīng)的邊長(權(quán)值)。然后針對該切分圖,在起點到終點的所有路徑中,求出長度值按嚴(yán)格升序排列(任何兩個不同位置上的值一定不等,下同)依次為第1, 第2,…,第i,…,第N的路徑集合作為相應(yīng)的粗分結(jié)果集。如果兩條或兩條以上路徑長度相等,那么他們的長度并列第i,都要列入粗分結(jié)果集,而且不影響其他路徑的排列序號,最后的粗分結(jié)果集合大小大于或等于N。,基于N-最短路徑的詞語粗分II,出發(fā)點 實際上是最短路徑方法和全切分的有機(jī)結(jié)合。一方面避免了最短路徑分詞方法大量舍棄正確結(jié)果的可能,另一方面又大大解決了全切分搜索空間過大,運行效率差的弊端。 “求同存異,保留爭端”。即:解決在切詞階段能解決的大部分問題;而對歧義、未登錄詞等問題盡量保留下來,留給后續(xù)過程處理。 統(tǒng)計與非統(tǒng)計方法,基于N-最短路徑的詞語粗分III,測試結(jié)果 說明: 統(tǒng)計N-最短路徑 句子總數(shù)為: 185,192,基于N-最短路徑的詞語粗分IV -對比測試實驗[召回率/結(jié)果數(shù)],基于角色標(biāo)注的未登錄詞識別,現(xiàn)有未登錄詞識別方法的不足 大部分只針對切分碎片進(jìn)行識別。 “單點激活”: 必須遇到具明顯特征的上下文或者未登錄詞用字時,才會觸發(fā)未登錄詞的識別過程。 對識別出來的很難給出實際意義上的概率值 歧義排除乏力 呂梁的特點是貧困人口占全省的1/3左右。 格威特等高水準(zhǔn)的競爭對手也是促使李寧牌不斷創(chuàng)新突破的一個誘因 周鵬和同學(xué),未登錄詞識別II,基于角色的未登錄詞識別方法 采用Viterbi算法,確定句子概率最大的角色序列,在角色序列的基礎(chǔ)上,進(jìn)行模式匹配。 未登錄詞的角色 內(nèi)部組成:首部、中部、尾部、內(nèi)部成詞 上下文 上下文與內(nèi)部組成交叉成詞 句子中其他成分,未登錄詞識別 III,漢族人名的角色表(示例,有省略),未登錄詞識別 IV,具體實現(xiàn) R#≈ 角色標(biāo)注過程類似于詞性標(biāo)注,也是一層HMM 示例: 館內(nèi)陳列周恩來和鄧穎超生前使用過的物品 館/內(nèi)/陳列/周/恩/來/和/鄧/穎/超生/前/使用/過/的/物品/ 館/A內(nèi)/A 陳列/K周/B恩/C來/D和/M鄧/B穎/C超生/V前/A使用/A過/A的/A物品/A V需要拆分,最終匹配人名模板,得到“周恩來”“鄧穎超”,未登錄詞識別 V,未登錄詞概率的計算 P(wi|ti) wi= c1 c2 …cn 角色序列 Ri= r1 r2 …rn P(wi|ti)=P(wi|Ri) P(ti|Ri) = P(ti|Ri) P(ti|Ri)可以由語料統(tǒng)計得到;例如單姓+單名生成姓名的概率等于單姓單名除以總的人名數(shù)目;其結(jié)果大約為12%,未登錄詞識別 VI,漢族人名測試結(jié)果,計算所中文詞語一體化分析系統(tǒng)ICTCLAS,Institute of Computing Tech., Chinese Lexical Analysis System. (ICTCLAS) 設(shè)計的基本原則 一體化 結(jié)果不唯一 “當(dāng)斷則斷,不留后患” “求同存異,保留爭端”,ICTCLAS—系統(tǒng)處理流程,,,,,,,,,,,,,,,,,,,,,,ICTCLAS—功能模塊,ICTCLAS,,,,,N-最短路徑切分 (概率統(tǒng)計),未登錄詞識別,隱馬標(biāo)注,,,,,人名,地名,譯名,,其他,,,結(jié)果生成,,,,重疊詞,規(guī)范,,其他,,ICTCLAS—初評結(jié)果,評測語料庫為《人民日報》1998年1月1日-1月15日(12000行)的新聞?wù)Z料 總共詞數(shù):601646 切分正確率(按詞統(tǒng)計)98.38%;按句子統(tǒng)計93.15% 一級標(biāo)注正確率(按詞統(tǒng)計):97.16%;按句子統(tǒng)計78.44%,結(jié)論,漢語詞語分析是中文信息處理的基礎(chǔ),無論是理論上,還是實際應(yīng)用上都極其重要。 其難點主要在于排歧和未登錄詞的識別。 目前常用的研究方法及相關(guān)系統(tǒng),存在著一些不足:不統(tǒng)一;量化困難,缺乏可比性。 N-最短路徑方法進(jìn)行詞語粗分,可以盡可能的解決詞語切分問題,同時將未登錄詞與歧義問題保留到下一過程。 基于角色標(biāo)注的未登錄詞識別方法,可以克服觸發(fā)與候選字段選取的盲目性,并能計算出候選詞的概率。最終效果能滿足實際要求。 基于HMM的一體化方法能夠?qū)⑽吹卿浽~、歧義排除和普通詞的處理統(tǒng)一起來,我們在ICTCLAS中進(jìn)行了實際的應(yīng)用。,敬請指導(dǎo)!謝謝!,- 1.請仔細(xì)閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
9.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該PPT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 中文 詞語 分析 一體化 系統(tǒng)
鏈接地址:http://kudomayuko.com/p-2515128.html