基于情感語(yǔ)義的圖像特征提取、檢索與分類研究.pdf

1、人對(duì)圖像的感知和理解是在語(yǔ)義層次上的，且具有主觀性。已有研究顯示，不同的圖像可以喚起人類不同的情感。圖像情感語(yǔ)義研究的目的是希望計(jì)算機(jī)能夠描述和表達(dá)人觀察圖像所引起的情感反應(yīng)，使用帶有主觀感情色彩的語(yǔ)義表述和索引圖像，其結(jié)果可用于圖像的情感評(píng)估、圖像檢索、美術(shù)和廣告設(shè)計(jì)等方面。該研究涉及到認(rèn)知科學(xué)、心理學(xué)、生理學(xué)、圖像處理、模式識(shí)別與人工智能等眾多學(xué)科領(lǐng)域，是一個(gè)嶄新的且有很大挑戰(zhàn)性的前沿課題。　　本文針對(duì)圖像的情感語(yǔ)義問(wèn)題，針對(duì)圖像

2、視覺特征、中間層語(yǔ)義和高層情感語(yǔ)義之間的語(yǔ)義鴻溝，提出了圖像情感類查詢的三層框架。以圖像色彩為代表，實(shí)現(xiàn)了高層情感語(yǔ)義類的檢索?！　”疚奶岢隽嘶谏室恢滦缘牟噬珗D像分割方法。通過(guò)去除干擾性的圖像邊緣，在色彩空間，采用引入色差判斷的改進(jìn)K均值聚類算法進(jìn)行圖像色彩分割，分割方法簡(jiǎn)單有效?！　”疚脑O(shè)計(jì)了一種圖像語(yǔ)義的描述方法。以圖像色彩為代表，根據(jù)人類色彩感知的心理模型，通過(guò)非監(jiān)督模糊聚類的方法分別計(jì)算出亮度、飽和度和色彩對(duì)比度的語(yǔ)義模

3、糊隸屬函數(shù)，并根據(jù)已有的色彩研究的成果構(gòu)造了色調(diào)語(yǔ)義的模糊隸屬函數(shù)，根據(jù)這些語(yǔ)義隸屬函數(shù)，使用符合人類感知和描述習(xí)慣的自然語(yǔ)言來(lái)描述圖像，填補(bǔ)了圖像特征到圖像語(yǔ)義之間的語(yǔ)義鴻溝?！　”疚耐ㄟ^(guò)定義查詢語(yǔ)言，實(shí)現(xiàn)了情感語(yǔ)義類的查詢。由查詢語(yǔ)言，可以將中間層圖像語(yǔ)義進(jìn)行有效的組織，并融入已有的圖像色彩情感效應(yīng)的知識(shí)和經(jīng)驗(yàn)，以描述高層次的情感語(yǔ)義，實(shí)現(xiàn)了簡(jiǎn)單情感語(yǔ)義類的查詢。該圖像情感語(yǔ)義描述框架支持對(duì)其它圖像特征的進(jìn)一步擴(kuò)展?！　≡趫D像情

4、感主觀調(diào)查和統(tǒng)計(jì)分析的基礎(chǔ)上，通過(guò)機(jī)器學(xué)習(xí)建立起圖像視覺特征到圖像情感的映射，構(gòu)造了圖像情感檢索系統(tǒng)，可以實(shí)現(xiàn)以情感相似性為度量的圖像樣圖檢索，和基于情感形容詞的圖像語(yǔ)義檢索?！　”疚倪M(jìn)行了深入的圖像情感主觀調(diào)查，在調(diào)查結(jié)果的統(tǒng)計(jì)學(xué)分析的基礎(chǔ)上，用情感形容詞描述和量化圖像情感語(yǔ)義，并構(gòu)建圖像情感因子空間。在實(shí)驗(yàn)心理學(xué)方法的指導(dǎo)下，采用語(yǔ)義差異法，在廣泛收集測(cè)試圖像和情感語(yǔ)義詞匯后，精心設(shè)計(jì)圖像情感主觀調(diào)查問(wèn)卷，完成圖像情感主觀評(píng)估，實(shí)

5、現(xiàn)了圖像情感語(yǔ)義的描述和量化；使用統(tǒng)計(jì)學(xué)方法對(duì)調(diào)查結(jié)果進(jìn)行詳細(xì)分析，總結(jié)得到較為穩(wěn)定且具有較強(qiáng)共性的13對(duì)情感語(yǔ)義，對(duì)它們進(jìn)行因子分析，消除情感形容詞之間的相關(guān)性和冗余，構(gòu)建出3維的圖像情感因子空間?！　”疚囊郧楦蟹治鰹槟康?，構(gòu)造圖像視覺特征，通過(guò)機(jī)器學(xué)習(xí)實(shí)現(xiàn)了圖像情感因子值自動(dòng)估計(jì)。詳細(xì)分析三個(gè)圖像情感因子與圖像特征之間的聯(lián)系，針對(duì)每個(gè)情感因子，分別設(shè)計(jì)了三種圖像視覺特征(亮度－冷暖模糊直方圖、飽和度－冷暖模糊直方圖+色彩對(duì)比度值的

6、綜合特征、亮度對(duì)比度+邊緣銳度綜合特征)，采用支持向量回歸機(jī)(SVR)訓(xùn)練的方法，對(duì)每個(gè)因子值進(jìn)行估計(jì)，完成了圖像情感因子空間自動(dòng)估算，估算結(jié)果與主觀評(píng)估結(jié)果之間保持了較大的相關(guān)性?！　”疚臉?gòu)造了圖像情感檢索系統(tǒng)，可以實(shí)現(xiàn)以情感相似性為度量的圖像樣圖檢索，和基于情感形容詞的圖像語(yǔ)義檢索。通過(guò)定義情感因子空間上的相似性度量，系統(tǒng)根據(jù)用戶提供的樣圖，在圖像庫(kù)中按照情感相似性進(jìn)行檢索，輸出與樣圖情感感覺上一致的圖像；在情感因子值的基礎(chǔ)上，通

7、過(guò)因子載荷矩陣，完成圖像情感形容詞的自動(dòng)估算，實(shí)現(xiàn)基于情感形容詞的圖像檢索，系統(tǒng)根據(jù)用戶提交的情感形容詞，按情感形容訶值進(jìn)行排序，輸出符合該種情感的圖像；以上檢索均取得了令用戶滿意的結(jié)果。　　本文以“靜感－動(dòng)感”為代表，實(shí)現(xiàn)了圖像情感語(yǔ)義的分類。深入研究圖像線條與圖像情感之間的聯(lián)系，我們定義了基于小波變換邊緣的帶權(quán)線條方向長(zhǎng)度向量(Weightedlinedirection-lengthvectorWLDLV)作為圖像特征，該特征能同