自然場景中文本識別技術(shù)研究及實現(xiàn).pdf

1、圖像中的文本信息是理解圖像內(nèi)容的重要線索，自然場景中存在著大量的文本信息，這些信息可以為場景理解提供極有價值的幫助。因而，研究一種自動化的文本信息識別工具，自動從自然場景圖像中識別出文本內(nèi)容，對場景圖像的檢索、分析以及場景理解均有重要意義。
　　傳統(tǒng)文檔分析技術(shù)盡管已經(jīng)取得了巨大的成果，但無法有效處理自然場景中的文本字符。自然場景中的文本圖像與傳統(tǒng)文檔圖像相比具有明顯不同，表現(xiàn)在文本圖像的顏色、亮度、對比度不一致；文本所在的背景復(fù)

2、雜多變；文本圖像存在變形、殘缺、模糊、斷裂現(xiàn)象；圖像中可能包含強烈的噪聲干擾，等等。這些因素使得自然場景文本識別技術(shù)面臨諸多挑戰(zhàn)。
　　本文針對自然環(huán)境文本識別相關(guān)技術(shù)進行研究，重點研究自然場景下文本圖像變形的矯正方法、復(fù)雜背景下文本圖像的分割方法、低質(zhì)量字符圖像的識別方法。具體內(nèi)容如下：
　　1．自然場景的文本圖像中存在大量透視變形的情況，文本圖像發(fā)生變形會嚴重影響文本識別的整體性能。本文對場景圖像的透視變形問題進行了研究

3、，并針對自然場景圖像中文本行數(shù)少，缺乏段落信息，文本邊緣不完整的特點，提出了一種基于消失點的變形矯正方法。該方法分兩個步驟：1)檢測消失點：文本基線的交點就是消失點，對點的檢測可以轉(zhuǎn)化為參數(shù)空間對線的檢測。首先利用數(shù)學形態(tài)學算子提取文本字符上的邊緣端點，接著采用最近鄰方法對端點按照文本行的位置進行分類，然后使用最小二乘法在篩選后的端點集合中擬合文本基線，最后通過RANSAC方法選擇出一個最優(yōu)的文本基線集合，在參數(shù)空間擬合出消失點對應(yīng)的直

4、線。2)變形恢復(fù)：文本圖像的變形參數(shù)包含在單應(yīng)矩陣中，利用消失點的位置信息對單應(yīng)矩陣中的部分參數(shù)進行估計，然后使用單應(yīng)矩陣對圖像實現(xiàn)矯正恢復(fù)，獲得正視圖的文本圖像。由于該方法是從文本圖像的字符中獲得變形參數(shù)，不受文本的邊緣和段落格式限制，因此可以對場景文本進行處理。實驗結(jié)果表明，使用本文方法對大量變形的場景文本圖像進行矯正后，字符識別率明顯提高。
　　2．字符分割是字符識別前的關(guān)鍵步驟，自然場景下的字符區(qū)域常常有復(fù)雜的背景，這會給

5、從背景中分割出字符圖像造成困難，本文提出了一種基于譜聚類的字符圖像分割方法。該方法與通常的譜方法最大的不同是利用顏色空間量化來構(gòu)造相似矩陣，大大降低了求解特征系統(tǒng)時的復(fù)雜度。具體步驟是：1)構(gòu)造相似矩陣：首先對圖像進行HSV空間變換并量化該色彩空間，然后定義基于像素色彩信息、紋理信息、距離信息的相似度函數(shù)，并計算各像素之間的相似度，最后以色彩量化區(qū)間為元素構(gòu)造圖像的相似矩陣。2)求解特征系統(tǒng)：以相似矩陣對應(yīng)的拉普拉斯矩陣為特征矩陣建立特

6、征系統(tǒng)，求解該特征系統(tǒng)的最小特征值及其特征向量。3)圖像分割：對最小特征值對應(yīng)的特征向量進行兩類劃分，建立一個二值指示向量，按照該向量對相似矩陣進行分類，通過分類后的相似矩陣進一步實現(xiàn)原圖像的二值分割。對大量場景文本圖像進行測試，實驗結(jié)果表明該方法優(yōu)于傳統(tǒng)的閾值分割方法，也優(yōu)于基于譜圖準則的閾值分割方法。
　　3．自然場景中文本圖像的特點決定了場景文本的質(zhì)量低下，現(xiàn)有字符識別方法對字符圖像的變形、高噪聲、低分辨率等問題還不能有效處

7、理。本文對低質(zhì)量的字符識別問題進行了研究，提出了一種基于改進Gabor小波變換的特征提取方法，并在此基礎(chǔ)上實現(xiàn)了一種高魯棒的漢字識別方法。本文通過分析低質(zhì)量漢字圖像特點，利用Gabor函數(shù)良好的頻率選擇性和方向選擇性，構(gòu)造了一個適合于漢字特征提取的Gabor小波變換，并進一步提出了基于尺度重疊和基于方向預(yù)分類的改進小波變換。尺度重疊強化了Gabor濾波器對筆劃寬度的選擇，方向預(yù)分類使得濾波器對筆劃方向的選擇更有針對性。由于充分考慮了漢字

8、筆劃寬度和方向的多峰值分布，優(yōu)化了小波變換參數(shù)，從而獲得一種高魯棒性的漢字特征。在HCL2000標準手寫漢字庫和低分辨率漢字庫上的測試表明，該方法對筆劃變形和低分辨率的漢字字符具有良好的適應(yīng)性，能有效處理質(zhì)量較差的漢字字符。
　　最后，利用提出的多個方法，本文建立了一個自然場景文本信息識別系統(tǒng)，通過實驗表明該系統(tǒng)在處理自然場景文本圖像的有效性。由于本文建立的文本識別系統(tǒng)對輸入圖像的限制較少，可以認為是針對實際應(yīng)用系統(tǒng)研究的一個有益