基于主題分析的圖像自動標注研究.pdf

1、圖像數(shù)據(jù)作為生活和學習中一種至關重要的信息載體，是網(wǎng)絡環(huán)境中不可缺少的數(shù)據(jù)信息資源。海量的圖像數(shù)據(jù)不斷地被創(chuàng)造，并且在互聯(lián)網(wǎng)上發(fā)布、傳播、分享和交流，如何在浩瀚的圖像數(shù)據(jù)海洋中迅速而準確的查找到自己需要的圖像數(shù)據(jù)，是目前圖像檢索領域研究的熱點問題。由于之前的基于文本和基于內(nèi)容的圖像檢索發(fā)展均受到了種種因素的限制，就出現(xiàn)了基于圖像標注關鍵字的語義圖像檢索，因此對圖像進行高層語義標注是關鍵。然而由于“語義鴻溝”的存在，也即人對圖像的相似性判

2、別“語義相似”與計算機對圖像相似性判別“視覺相似”之間的差距的存在，使得建立在圖像視覺特征信息上的圖像語義自動標注的性能遠不能達到理想的效果。
　　 本文主要做了以下研究：
　　 1.手工標注獲取訓練集具有諸如：費時、費力、主觀性強等缺點，并且對于幾乎無限的Web圖像數(shù)據(jù)來說，手工獲取的訓練集顯得很渺小，因此如何自動獲取高質(zhì)量的訓練集就顯得尤為重要。Web圖像與傳統(tǒng)圖像相比有自身明顯的特點，因為Web圖像存在于網(wǎng)絡環(huán)境中

3、，除具有其他圖像所具有的視覺特征信息外，通常還關聯(lián)著豐富的文本信息，如圖像數(shù)據(jù)的文件名稱、周圍解釋說明文本、圖像所屬網(wǎng)頁標題、替代文本等。
　　 2.隨著社會網(wǎng)絡(Social Network)的發(fā)展，各種多媒體資源都在網(wǎng)絡上共享、傳播。Flickr就是提供圖像共享的網(wǎng)站，上面已經(jīng)上傳了幾十億張不同種類不同主題的圖像，而且，用戶在進行上傳的時候都對圖像進行了不同程度的標注，并且也可以對其他用戶的自己比較感興趣的圖像進行標注。這樣

4、就產(chǎn)生了大量的標簽資源，即社會標簽。如果能利用這些社會標簽來對訓練集進行標簽擴展或者修改，將會很大的提高訓練集的標注質(zhì)量。最終會提高有指導的圖像語義自動標注的性能。并且每一幅圖像都屬于特定的社群主題，這些社群主題的主題信息和圖像的高層語義信息具有很大的相關性。因此挖掘出主題的潛在信息能提高標注的性能。
　　 本文主要創(chuàng)新點如下：
　　 1.融合圖像視覺特征和社會標簽的訓練集自動獲取。首先采用基于TF-IDF思想利用Web

5、圖像的帶約束的關聯(lián)文本信息來獲取圖像的初始標簽，即初始訓練集。然后利用融合視覺特征和社會標簽對初始訓練集中的標簽類別進行擴展，在利用社會標簽進行擴展時，考慮到社會網(wǎng)絡上的圖像標簽的復雜性和個異性，對這些標簽的做了預處理工作，多標簽的圖像進行剔除噪音標簽和去掉無關標簽，無標簽圖像則根據(jù)圖像所在的社群主題信息來挖掘出圖像的潛在語義信息。進而得到和初始訓練集中圖像的關鍵詞和視覺特征都相似的圖像。從而提高訓練集的質(zhì)量。在融合圖像的視覺特征和社會

6、標簽對初始訓練集進行標簽擴展時，基于圖像相似具有傳播性提出了一種新的圖像視覺特征和標注詞語義都相似的圖像鄰域集自適應獲取算法。通過比較相鄰兩幅圖像的視覺差異，來自適應的確定給定圖像的語義關鍵詞和視覺特征都相似的鄰域集大小。
　　 2.基于主題分析的圖像語義自動標注，對自動獲取的大規(guī)模高質(zhì)量的訓練集，采用潛在語義分析的奇異值分析SVD方法對訓練集圖像分析建模得到主題模型，進而利用這些圖像所在的主題類的主題信息來對圖像進行語義自動標