視覺與聽覺跨模態(tài)轉(zhuǎn)換的認(rèn)知和應(yīng)用研究.pdf

1、在日常生活中,人類時(shí)時(shí)刻刻都在攝取來(lái)自不同感官的各種信息,為了完成不同的認(rèn)知任務(wù),我們可能需要將注意力在各個(gè)感官通道上進(jìn)行來(lái)回切換;當(dāng)有的感官通道受到不可逆的損傷時(shí),我們希望通過從其他感官獲取相關(guān)信息來(lái)進(jìn)行替代。本文主要圍繞視覺與聽覺跨模態(tài)轉(zhuǎn)換闡述碩士期間的兩項(xiàng)工作:其一,視覺與聽覺跨模態(tài)轉(zhuǎn)換的認(rèn)知過程研究。本文采用行為學(xué)實(shí)驗(yàn)和腦電分析的方法,討論了這種自上而下的注意力切換的行為學(xué)和電生理特征,對(duì)比了注意力從聽覺切換到視覺與從視覺切換到

2、聽覺的不同特性,計(jì)算了感官間注意力切換所需要的時(shí)間以及對(duì)應(yīng)的腦電成分,并使用事件相關(guān)電位(ERP)這種高時(shí)間分辨率的方法確定了接到注意力轉(zhuǎn)移的任務(wù)以后,開始注意力轉(zhuǎn)移的時(shí)間點(diǎn)。我們發(fā)現(xiàn),注意力從視覺切換到聽覺約需要152ms,而從聽覺切換到視覺只需要約96ms。對(duì)于事件相關(guān)電位,聽覺提示誘發(fā)的N1、P2幅值均比視覺提示誘發(fā)的大。注意力從視覺轉(zhuǎn)移到聽覺誘發(fā)了額葉和中央?yún)^(qū)一個(gè)2μV左右的負(fù)波,而視覺注意力的保持則表現(xiàn)為一個(gè)接近基線的信號(hào);聽

3、覺注意力的保持誘發(fā)了一個(gè)位于額葉和中央?yún)^(qū)的2μV左右的負(fù)波,而注意力從聽覺轉(zhuǎn)移到視覺的過程卻表現(xiàn)為一個(gè)接近基線的信號(hào)?？紤]到ERP波形幅值反映了認(rèn)知資源的分配,這很好地驗(yàn)證了“視覺主導(dǎo)認(rèn)知過程(visual dominance)”的觀點(diǎn)。此外,注意力的轉(zhuǎn)移會(huì)造成聽覺刺激誘發(fā)的ERP幅值增加,對(duì)于視覺刺激恰好相反,感官間的注意力切換會(huì)造成視覺刺激誘發(fā)的ERP幅值減小,我們猜測(cè),這種現(xiàn)象與聽覺對(duì)于注意力的自吸引效應(yīng)和視覺注意力水平可能有一定

4、關(guān)系。其二,基于聽覺代替視覺的助盲系統(tǒng)SoundView升級(jí)優(yōu)化工作。為了實(shí)現(xiàn)聽覺代替視覺的目標(biāo),我們搭建了聽覺引導(dǎo)助盲系統(tǒng)SoundView,它通過識(shí)別環(huán)境中的某些物體編碼相應(yīng)的語(yǔ)音播放給盲人聽,告知盲人環(huán)境中重要物體的名稱和方位。聽覺引導(dǎo)助盲系統(tǒng)SoundView通過攝像頭采集視頻輸入嵌入式系統(tǒng)進(jìn)行數(shù)字圖像處理和特征識(shí)別,根據(jù)特定物體所處位置構(gòu)建三維立體聲序列,盲人能夠通過聲音序列的不同區(qū)別物體,并利用三維立體聲判斷物體方位。為了避

5、免復(fù)雜的模式識(shí)別算法,我們用條形碼標(biāo)記環(huán)境中的重要物體幫助識(shí)別。本課題前期已經(jīng)完成了SoundView系統(tǒng)整體搭建,但是已有的系統(tǒng)存在處理速度過慢、有效識(shí)別范圍過小等問題。為了改善系統(tǒng)性能,使SoundView更加具有實(shí)用價(jià)值,我們使用長(zhǎng)焦鏡頭和分段特征識(shí)別算法擴(kuò)展了有效距離,同時(shí)簡(jiǎn)化圖像處理程序、使用系統(tǒng)庫(kù)函數(shù)節(jié)省計(jì)算資源,大大提升了SoundView的處理速度,使得在0.5m-6.5m的范圍內(nèi)可以以12幀/秒以上的速度進(jìn)行有效的條形