基于大規(guī)模語料的中文新詞抽取算法的設計與實現(xiàn).pdf

1、中文新詞抽取是中文信息處理的基礎研究，抽取的新詞能直接應用到分詞、詞典編纂等領域中。由于新詞散布于海量的信息中，為盡可能多地抽取到新詞，本文研究針對大規(guī)模語料進行。
　　 首先在綜合已有定義的基礎上，將新詞界定為不含命名實體的未登錄詞。本文將整個抽取過程分成候選新詞集合構造和新詞檢測兩部分。
　　 在構造候選新詞集合時，為處理規(guī)模遠超出內存的語料，設計了重復串抽取算法(Repeats Extraction Based S

2、plit，REBS)。先將語料按后綴首字符劃分為多個集合，通過逐條掃描集合數(shù)據(jù)，搜索出最大化最長公共前綴區(qū)間(Maximized Longest Common PrefixInterval，MLCPI)來完成抽取，另外在此基礎上實現(xiàn)重復串抽取的同時歸并子串。由于進行抽取時無需將全部數(shù)據(jù)導入內存，所以資源消耗較少；各集合間抽取工作互不干擾，可采用并行處理加快運行速度。使用4.61G純文本語料進行試驗，結果表明內存消耗小于30M，抽取速度最

3、快達每秒1.08M，并能高效地進行子串歸并。為提高重復串抽取速度，本文對字串排序效率進行了改進，設計了一種線性時間排序算法，通過比較實驗證明了該算法的高效性。
　　 新詞檢測階段，在最大熵模型中，融合多項語言知識特征和統(tǒng)計特征，實現(xiàn)對非詞垃圾串的過濾，并通過實驗驗證了該方法的有效性。為提高大規(guī)模語料下的新詞檢測速度，對左右熵特征的抽取效率進行改進，該改進算法充分利用重復串抽取的中間處理結果，能高效地對候選新詞進行左右熵特征計算。