異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解.pdf

1、基于計(jì)算機(jī)視覺(jué)的道路場(chǎng)景語(yǔ)義理解是自主車(chē)等智能應(yīng)用的關(guān)鍵性支撐研究。為了增強(qiáng)自主車(chē)的環(huán)境理解能力，研究者們致力于彩色攝像機(jī)和激光雷達(dá)的異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解研究。由于激光雷達(dá)數(shù)據(jù)分辨率相對(duì)較低，如何與攝像機(jī)數(shù)據(jù)進(jìn)行融合并獲得像素分辨率的語(yǔ)義理解結(jié)果成為了研究的難點(diǎn)之一。其次，合理利用場(chǎng)景語(yǔ)義理解中子問(wèn)題間的關(guān)系進(jìn)行聯(lián)合建模求解，也是提升自主車(chē)環(huán)境理解能力的熱門(mén)研究方向。然而，聯(lián)合問(wèn)題中模型復(fù)雜度高、變量維數(shù)大帶來(lái)的求解困難，一直

2、是研究的難點(diǎn)。此外，在場(chǎng)景序列語(yǔ)義理解中，如何描述變量間在時(shí)間上高階且不對(duì)稱的關(guān)系，并獲得更準(zhǔn)確、時(shí)序上一致性更高的理解結(jié)果，成為該研究的第三個(gè)難點(diǎn)。
　　基于上述研究背景和難點(diǎn)問(wèn)題，本博士學(xué)位論文主要研究彩色攝像機(jī)和激光雷達(dá)的異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景語(yǔ)義理解，通過(guò)異質(zhì)數(shù)據(jù)在不同層次的融合、合理地聯(lián)合建模與求解，以及構(gòu)建描述變量在時(shí)、空上一致性關(guān)系的混合圖模型，獲得了更為準(zhǔn)確、時(shí)序上一致性更高、具有像素分辨率的道路場(chǎng)景語(yǔ)義理解結(jié)果。

3、
　　本文的主要內(nèi)容和貢獻(xiàn)如下：
　　1、提出了一種異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景在線目標(biāo)級(jí)圖像分割方法。以往方法僅在特征層或決策層進(jìn)行融合，并獲得低于像素分辨率的分割結(jié)果。我們的方法不僅實(shí)現(xiàn)了特征層和決策層的數(shù)據(jù)融合，而且獲得像素分辨率的分割結(jié)果。其中特征層的融合，通過(guò)對(duì)激光雷達(dá)點(diǎn)稀疏深度圖的升采樣方法實(shí)現(xiàn)。決策層的融合主要體現(xiàn)在兩個(gè)方面:一方面通過(guò)激光雷達(dá)數(shù)據(jù)獲得目標(biāo)假設(shè)的種子點(diǎn)，實(shí)現(xiàn)了在線的目標(biāo)檢測(cè)和目標(biāo)級(jí)圖像分割;另一方面在

4、構(gòu)建的圖模型中添加了基于種子點(diǎn)的硬約束，提升了圖像分割的效果。
　　2、有別于傳統(tǒng)聯(lián)合求解問(wèn)題只包含離散取值的標(biāo)簽，提出了一種聯(lián)合建模求解離散取值標(biāo)簽與連續(xù)取值標(biāo)簽的方法。構(gòu)建的聯(lián)合模型使用交替方向法(Alternating Direction Method，ADM)進(jìn)行迭代求解，其中連續(xù)取值標(biāo)簽可以通過(guò)一種線性計(jì)算方法獲得。該方法應(yīng)用于道路場(chǎng)景下離散取值的目標(biāo)標(biāo)簽與連續(xù)取值的深度標(biāo)簽的聯(lián)合建模求解中，較好地解決了以往離散取值深度

5、標(biāo)簽求解復(fù)雜度高、深度結(jié)果精度損失的問(wèn)題。實(shí)驗(yàn)表明，該方法能獲得與以往方法相比更為準(zhǔn)確的圖像分割與深度升采樣結(jié)果。
　　3、提出了一種異質(zhì)數(shù)據(jù)融合的道路場(chǎng)景目標(biāo)級(jí)圖像分割與語(yǔ)義標(biāo)注聯(lián)合建模求解的方法。在決策層數(shù)據(jù)融合中，通過(guò)激光雷達(dá)三維點(diǎn)的目標(biāo)假設(shè)獲得圖像二維目標(biāo)假設(shè)檢測(cè)框，避免了以往方法中對(duì)目標(biāo)檢測(cè)的離線訓(xùn)練以及對(duì)整張圖像窗口式的目標(biāo)搜索。與以往復(fù)雜的聯(lián)合模型不同，該聯(lián)合模型滿足半度量的約束，可以使用快速有效的圖割算法進(jìn)行求解。

6、實(shí)驗(yàn)表明，該方法能同時(shí)提升目標(biāo)級(jí)圖像分割以及語(yǔ)義標(biāo)注的效果。
　　4、有別于傳統(tǒng)的概率圖模型，構(gòu)建了混合圖模型用于解決道路場(chǎng)景序列圖像語(yǔ)義標(biāo)注問(wèn)題。其中，用簡(jiǎn)單邊描述單幀內(nèi)相鄰變量間的空間關(guān)系，用超邊描述變量間在時(shí)間上高階、不對(duì)稱的關(guān)系。該模型較好地克服了包含高階能量項(xiàng)的簡(jiǎn)單圖模型難以求解，以及簡(jiǎn)單邊描述能力局限的缺點(diǎn)。此外，為了將基于混合圖的分割問(wèn)題推廣為語(yǔ)義標(biāo)注問(wèn)題，我們?cè)谀Ｐ椭刑砑恿私?jīng)驗(yàn)式的損失函數(shù)。該混合圖模型在求解上被轉(zhuǎn)