復雜背景下的手勢識別研究.pdf

1、基于視覺的手勢識別是人機交互領域中的一個研究熱點。然而實際場景中存在光照劇烈變化、復雜背景等問題，如何設計高效魯棒的手勢識別算法是一個難點問題。本文主要研究復雜背景下的手勢識別方法。
　　手勢分割是手勢識別的一個關鍵步驟，經(jīng)典的基于閾值的膚色分割模型對復雜環(huán)境沒有很好的魯棒性，基于高斯模型的膚色分割方法時間復雜度比較高，很難達到實時性要求。為此，本文提出一種聯(lián)合運動和膚色分割的手勢識別方法，結合運動分割和膚色分割方法對于手勢區(qū)域進

2、行有效分割。采用YCbCr和HSV兩種膚色分割結合的方法分割出膚色區(qū)域，并運用背景差分的運動分割方法過濾出類似膚色區(qū)域，得到一個粗略的手部輪廓位置。特征提取部分采用梯度直方圖(HOG)和Hu矩特征融合的方式，Hu矩特征對旋轉(zhuǎn)、平移和尺度的不變性彌補了HOG特征本身對旋轉(zhuǎn)角度的不敏感性，最終將得到的手勢區(qū)域圖像放入分類器進行識別，實驗結果驗證了該算法對變形幅度較小手勢具有較好的識別性能。
　　上述手勢識別方法在實時檢測時需要手有一定

3、幅度的運動，在一些復雜環(huán)境下手的分割效果還不是很理想，主要原因在人工設計HOG、Hu矩等特征提取方式，對較大手勢變形和旋轉(zhuǎn)還是沒有體現(xiàn)出來很強的識別能力。利用深度學習方法的端到端學習能力，本論文提出基于Faster R-CNN的手勢識別方法，采用區(qū)域卷積神經(jīng)網(wǎng)絡的思想，設置7層網(wǎng)絡框架，將自己建立的8類手勢數(shù)據(jù)庫在Faster R-CNN模型框架下訓練網(wǎng)絡層參數(shù)，調(diào)節(jié)mini-batch正負樣本比例、base_size大小，和nms后候