基于運(yùn)動(dòng)信息與背景信息相結(jié)合的視頻序列配準(zhǔn).pdf

1、視頻序列配準(zhǔn)是圖像處理的一個(gè)重要領(lǐng)域，是對(duì)不同攝像機(jī)從不同角度或者不同時(shí)間拍攝的相似視頻序列進(jìn)行時(shí)間同步和空間幾何校準(zhǔn)的技術(shù)，廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)識(shí)別、視頻拼接以及三維重建等眾多計(jì)算機(jī)視覺領(lǐng)域。本文主要的研究工作以及成果如下：
　　1、詳細(xì)討論了兩種經(jīng)典的基于軌跡的視頻序列配準(zhǔn)方法，這兩種方法分別是基于時(shí)間線約束和基于軌跡射影不變表示的方法。研究表明，目前的方法存在一些問題。基于時(shí)間線約束的方法采用背景圖像間的對(duì)極幾何信息描述

2、軌跡點(diǎn)，同時(shí)利用軌跡與對(duì)極線的交點(diǎn)尋找候選匹配軌跡點(diǎn)，該方法對(duì)于運(yùn)動(dòng)軌跡是曲線的視頻序列可以獲得較好的配準(zhǔn)效果，但是對(duì)于軌跡近似是直線并與其對(duì)極線重合的視頻序列，由于找到的軌跡與對(duì)極線的交點(diǎn)太多致使配準(zhǔn)效果較差?；谲壽E射影不變表示的方法，采用軌跡點(diǎn)鄰域內(nèi)的形狀信息描述軌跡點(diǎn)，同時(shí)利用交比的統(tǒng)計(jì)特性尋找候選匹配軌跡點(diǎn)，從而實(shí)現(xiàn)視頻序列的時(shí)間同步，但是該方法對(duì)于軌跡上存在大量形狀特征相似的軌跡段的視頻序列，獲取的描述符不具有很好的區(qū)分性致

3、使配準(zhǔn)結(jié)果誤差較大。此外，上述兩種算法描述軌跡點(diǎn)時(shí)均忽略了運(yùn)動(dòng)目標(biāo)與背景特征之間的空間信息。
　　2、針對(duì)以上兩種算法存在的問題，提出了一種基于運(yùn)動(dòng)信息與背景信息相結(jié)合的視頻序列配準(zhǔn)算法，該算法首先采用低秩與稀疏分解算法分別提取參考視頻序列和待配準(zhǔn)視頻序列的背景圖像和運(yùn)動(dòng)軌跡，并采用特征點(diǎn)檢測(cè)與匹配的方法，獲取背景圖像的特征點(diǎn)匹配對(duì)；其次利用獲得的背景圖像的特征點(diǎn)匹配對(duì)，計(jì)算背景圖像間的基礎(chǔ)矩陣，并從中選取三維空間中不共面的四個(gè)點(diǎn)

4、對(duì)應(yīng)的匹配點(diǎn)對(duì)；然后利用運(yùn)動(dòng)目標(biāo)與背景特征的空間信息來進(jìn)一步提高軌跡點(diǎn)的可區(qū)分性，采用三維空間中不共面的四個(gè)點(diǎn)建立的坐標(biāo)系以及對(duì)極幾何約束共同對(duì)軌跡進(jìn)行描述和匹配，獲取候選時(shí)間對(duì)應(yīng)點(diǎn)的集合；最后采用隨機(jī)抽樣一致性算法對(duì)候選時(shí)間對(duì)應(yīng)點(diǎn)的集合進(jìn)行時(shí)間線擬合，確定參考視頻序列和待配準(zhǔn)視頻序列之間的時(shí)空變換模型參數(shù)。仿真實(shí)驗(yàn)表明提出的算法與基于時(shí)間線約束和基于軌跡射影不變表示的方法相比，能夠獲得更加精確的配準(zhǔn)結(jié)果，尤其對(duì)于場景中運(yùn)動(dòng)目標(biāo)的軌跡近