圖像視頻中運(yùn)動(dòng)估計(jì)和分析.pdf

1、隨著多媒體技術(shù)和傳感器技術(shù)的飛速發(fā)展，圖像和視頻作為記錄視覺(jué)的載體，對(duì)人們的生活、生產(chǎn)等產(chǎn)生越來(lái)越重要的影響。近十年來(lái)，在各個(gè)方面的記錄視覺(jué)信息的需求，產(chǎn)生了爆炸式的圖像和視頻。在這些數(shù)據(jù)中，運(yùn)動(dòng)信息在圖像和視頻的生成和記錄過(guò)程中都扮演著重要的角色，可以說(shuō)覆蓋了圖像和視頻處理的各個(gè)領(lǐng)域，而在語(yǔ)義上也涵蓋了從低層的運(yùn)動(dòng)軌跡估計(jì)到高層的運(yùn)動(dòng)理解。具體來(lái)說(shuō)，在圖像生成過(guò)程中，相機(jī)運(yùn)動(dòng)會(huì)帶來(lái)圖像的模糊，而使得圖像的信息熵增大，為了能夠恢復(fù)出清楚

2、的尖銳的圖像，我們往往需要精確估計(jì)相機(jī)的運(yùn)動(dòng)。在圖像的記錄過(guò)程中，有可能因?yàn)槲矬w或人的快速運(yùn)動(dòng)造成了圖像內(nèi)容的運(yùn)動(dòng)模糊。在記錄過(guò)程中產(chǎn)生的運(yùn)動(dòng)模糊往往比清楚圖像提供的信息更多因?yàn)槠洳蹲降搅藙?dòng)態(tài)的物體疊加。視頻通常可以看作是圖像在時(shí)序上的疊加，類似地，在視頻產(chǎn)生過(guò)程中，相機(jī)的運(yùn)動(dòng)往往會(huì)導(dǎo)致畫(huà)面的晃動(dòng)和模糊，無(wú)論在圖像質(zhì)量上和視頻可觀賞性上都有一定的影響。而在視頻內(nèi)容記錄中，運(yùn)動(dòng)信息往往是視頻存在的理由，分析其運(yùn)動(dòng)往往更關(guān)注高層的語(yǔ)義。

3、r>　　本課題以運(yùn)動(dòng)為核心，對(duì)圖像和視頻中的運(yùn)動(dòng)估計(jì)和分析展開(kāi)了深入研究，具體包括:圖像生成過(guò)程中相機(jī)運(yùn)動(dòng)的建模和表征，模糊圖像中的相機(jī)運(yùn)動(dòng)估計(jì)和圖像復(fù)原，視頻內(nèi)容記錄中的運(yùn)動(dòng)的多層次表征學(xué)習(xí)以及運(yùn)動(dòng)的快速分析。本論文的主要工作和創(chuàng)新點(diǎn)可以總結(jié)為以下幾點(diǎn):
　　1.在圖像成像過(guò)程中對(duì)相機(jī)運(yùn)動(dòng)的深層分析，我們提出了對(duì)運(yùn)動(dòng)核進(jìn)行分解并獨(dú)自優(yōu)化的模型。該分解模式能夠揭示相機(jī)成像的內(nèi)在特性，從而以一種全新的角度觀測(cè)經(jīng)典的圖像去模糊問(wèn)題。為

4、了展示該表征的優(yōu)勢(shì)，我們提出了軌跡隨機(jī)擾動(dòng)算法來(lái)優(yōu)化運(yùn)動(dòng)核。在很多例子當(dāng)中，我們發(fā)現(xiàn)現(xiàn)有的去模糊算法落人局部極值的時(shí)候，我們的算法通過(guò)獨(dú)立優(yōu)化相機(jī)軌跡能夠取得較好的去模糊效果以及正確的模糊核。
　　2.在圖像成像過(guò)程中利用高亮區(qū)域能夠較準(zhǔn)確地刻畫(huà)相機(jī)運(yùn)動(dòng)這一特點(diǎn)，我們針對(duì)夜景這一非常具有挑戰(zhàn)性的場(chǎng)景結(jié)合高亮區(qū)域把該問(wèn)題變得可行。我們提出了一個(gè)全新的框架有機(jī)地把從高亮區(qū)域中推斷出的運(yùn)動(dòng)核和非高亮區(qū)域結(jié)合求解更準(zhǔn)確的運(yùn)動(dòng)核，除此之外，

5、我們提出了一個(gè)全新的函數(shù)化運(yùn)動(dòng)核表征從而較準(zhǔn)確地從高亮區(qū)域推斷運(yùn)動(dòng)核，我們提出了一個(gè)新的能量最小化方程能夠自動(dòng)地把提取的運(yùn)動(dòng)核分配給不同的區(qū)域以便進(jìn)行非均勻去模糊。
　　3.在視頻內(nèi)容記錄中，我們側(cè)重分析了視頻內(nèi)容中的重要的運(yùn)動(dòng)信息:摔倒動(dòng)作檢測(cè)，為了適應(yīng)視頻流場(chǎng)景下實(shí)時(shí)的運(yùn)動(dòng)分析，即實(shí)時(shí)的摔倒檢測(cè)，我們把視頻內(nèi)容中運(yùn)動(dòng)信息按照”難易程度”分層，通過(guò)級(jí)聯(lián)的方式進(jìn)行動(dòng)作檢測(cè)，不同于傳統(tǒng)的級(jí)聯(lián)框架，該級(jí)聯(lián)框架能夠支持不同復(fù)雜度的特征。

6、通過(guò)這種混合特征的級(jí)聯(lián)框架，我們的系統(tǒng)在精確度和效率上能夠達(dá)到較好的折中。除此之外，我們精細(xì)地設(shè)計(jì)了我們采用的特征，支持特征復(fù)用以及增量式更新從而能夠?qū)σ曨l流場(chǎng)景具有較好地支持。最后，在摔倒動(dòng)作檢測(cè)的基礎(chǔ)之上，我們進(jìn)行了拓展從而能夠支持一般種類的動(dòng)作檢測(cè)以及引入了更多種類的特征從而在精確度上有一個(gè)更好的提升。
　　本文針對(duì)圖像生成過(guò)程中和視頻內(nèi)容記錄中的運(yùn)動(dòng)進(jìn)行了深入的分析。大量的實(shí)驗(yàn)結(jié)果表明了我們對(duì)相機(jī)運(yùn)動(dòng)建模的有效性以及對(duì)視頻