復(fù)雜背景下的手勢識別研究.pdf

1、基于視覺的手勢識別是人機交互領(lǐng)域中的一個研究熱點。然而實際場景中存在光照劇烈變化、復(fù)雜背景等問題，如何設(shè)計高效魯棒的手勢識別算法是一個難點問題。本文主要研究復(fù)雜背景下的手勢識別方法。
　　手勢分割是手勢識別的一個關(guān)鍵步驟，經(jīng)典的基于閾值的膚色分割模型對復(fù)雜環(huán)境沒有很好的魯棒性，基于高斯模型的膚色分割方法時間復(fù)雜度比較高，很難達(dá)到實時性要求。為此，本文提出一種聯(lián)合運動和膚色分割的手勢識別方法，結(jié)合運動分割和膚色分割方法對于手勢區(qū)域進(jìn)

2、行有效分割。采用YCbCr和HSV兩種膚色分割結(jié)合的方法分割出膚色區(qū)域，并運用背景差分的運動分割方法過濾出類似膚色區(qū)域，得到一個粗略的手部輪廓位置。特征提取部分采用梯度直方圖(HOG)和Hu矩特征融合的方式，Hu矩特征對旋轉(zhuǎn)、平移和尺度的不變性彌補了HOG特征本身對旋轉(zhuǎn)角度的不敏感性，最終將得到的手勢區(qū)域圖像放入分類器進(jìn)行識別，實驗結(jié)果驗證了該算法對變形幅度較小手勢具有較好的識別性能。
　　上述手勢識別方法在實時檢測時需要手有一定

3、幅度的運動，在一些復(fù)雜環(huán)境下手的分割效果還不是很理想，主要原因在人工設(shè)計HOG、Hu矩等特征提取方式，對較大手勢變形和旋轉(zhuǎn)還是沒有體現(xiàn)出來很強的識別能力。利用深度學(xué)習(xí)方法的端到端學(xué)習(xí)能力，本論文提出基于Faster R-CNN的手勢識別方法，采用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的思想，設(shè)置7層網(wǎng)絡(luò)框架，將自己建立的8類手勢數(shù)據(jù)庫在Faster R-CNN模型框架下訓(xùn)練網(wǎng)絡(luò)層參數(shù)，調(diào)節(jié)mini-batch正負(fù)樣本比例、base_size大小，和nms后候