連續(xù)空間模型下的統(tǒng)計機器翻譯.pdf

1、自然語言(人類語言)，是指一個基于文化特點的，用于正式場合正式場合的交流系統(tǒng)[1]。自然語言處理（計算語言學(xué))是指應(yīng)用于學(xué)習、理解和產(chǎn)生自然語言的計算技術(shù)[2]。統(tǒng)計機器翻譯是指利用機器學(xué)習為主要手段，用統(tǒng)計的方法來將一種語言翻譯成另一種語言。作為目前自然語言處理中最流行的方向之一，區(qū)別于基于規(guī)則的機器翻譯，其翻譯范式是基于統(tǒng)計模型對平行雙語語料的分析。其中，基于短語的機器翻譯長時間被認為是最為有效的機器翻譯方法。近年來，隨著計算機性能

2、的提升，以神經(jīng)網(wǎng)絡(luò)為代表的基于連續(xù)空間的機器翻譯開始流行，在不同方面提升了機器翻譯的表現(xiàn)：比如語言模型，翻譯模型和一體化端對端的機器翻譯模型等。
　　雖然連續(xù)空間模型在機器翻譯中得到了效果的提升，但是其也有顯著的缺點，其中最為代表性的是：
　　1)由于采取了非線性的模型，雖然很多工作著力于優(yōu)化相應(yīng)模型，但是訓(xùn)練和運算時間相對于線性模型仍然較慢。
　　2)以神經(jīng)網(wǎng)絡(luò)模型為代表的連續(xù)空間模型往往采用特征自動學(xué)習的方法，這樣

3、帶來的優(yōu)點是可以自動提取特征，避免了人工的特征選擇，但是反過來，一些有意義的語義信息被忽略了。
　　基于以上已有方法的缺點，本文從基于神經(jīng)網(wǎng)絡(luò)模型和圖模型這兩個連續(xù)空間模型的角度，提升機器翻譯的表現(xiàn)。在神經(jīng)網(wǎng)絡(luò)模型方面：
　　1）我們提出了一種將連續(xù)空間語言模型轉(zhuǎn)化為線性語言模型的方法，該方法可以使連續(xù)空間語言模型在保持高性能的前提下，以線性語言模型的速度進行解碼運算。
　　2）我們提出了拼接短語這一語言學(xué)概念，利用神

4、經(jīng)網(wǎng)絡(luò)的可擴展性，我們將拼接短語與神經(jīng)網(wǎng)絡(luò)結(jié)合起來，用于提高機器翻譯的自適應(yīng)性和可擴展性。在圖模型方面，我們提出了一個新的雙語語義單元–雙語上下文詞團(Bilingual Contexonym Cliques,BCC)。區(qū)別于目前已有的直接利用上下文或者滑動窗口的詞空間表示方法，BCC蘊含更多的語義信息?；贐CC，我們構(gòu)建了雙語圖語義模型，其可以用于提升基于短語的機器翻譯的表現(xiàn)。
　　本文提出的各種算法均在國際公開測評的語料(例