視頻驅動的三維唇動合成.pdf

1、嘴唇動畫作為人臉動畫中最重要的部分之一，可以應用在影視特效，動畫制作，游戲娛樂以及視頻會議等諸多領域，具有很大的應用價值和商業(yè)價值。本文研究的內容是如何利用視頻驅動嘴唇，大致分為兩個部分：如何從視頻中捕捉到嘴唇特征點，以及如何利用捕捉到的嘴唇信息驅動嘴唇模型。
　　本文采用的嘴唇模型是基于CANDIDE-3面部模型的，它的驅動機制以面部行為編碼系統(tǒng)作為基礎，根據面部行為編碼系統(tǒng)定義的動作單位，驅動人臉模型。利用它的驅動機制，可以將

2、跟蹤得到的嘴唇信息轉換為驅動嘴唇模型的參數，最終根據這些參數得到嘴唇動畫。
　　本文采用了兩種不同的方法對嘴唇進行跟蹤，一種是基于表觀的方法，另一個種是基于運動的方法。
　　基于表觀的方法，存儲跟蹤目標的紋理，通過改變目標模型的位置參數和形狀參數，使其和視頻中的嘴唇相吻合。由于希望不使用訓練樣本就可以對嘴唇進行跟蹤，因此紋理模型從第一幀獲取，然后從后續(xù)的幀中獲取形狀無關紋理，將紋理模型和形狀無關紋理進行比較，得到嘴唇模型的最

3、優(yōu)參數。該方法可以直接得到嘴唇模型的參數，最終合成的嘴唇動畫在大部分情況下是令人滿意的，但是當嘴唇變化過大的時候，跟蹤器會跟丟，因此一些比較明顯的口型變化無法在合成的嘴唇動畫中重現，影響了合成動畫的質量，但跟蹤器可以在沒有外界干預的情況下重新恢復對嘴唇的跟蹤。
　　基于運動的方法采用比較成熟的Lucas-Kanade光流法跟蹤嘴唇的四個特征點，由于下嘴唇特征點在嘴唇運動過大的時候會跟丟，本文利用嘴唇的幾何形狀和嘴唇的邊緣信息對下嘴