多傳感器手語手勢(shì)識(shí)別若干關(guān)鍵問題研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷提升，人機(jī)交互方式逐步被更新。具有能聽，能看，能說，能感覺等多模式的，自然的，以人為中心的新穎人機(jī)交互是未來人機(jī)交互的發(fā)展方向。手語成為新穎人機(jī)交互的最重要通道之一。手語是一種視覺語言，是聾啞人表達(dá)思想、進(jìn)行日常交際最主要的方式。它是通過手的形狀、指式、朝向、動(dòng)作和位置信息，配合面部表情，按照一定的語法規(guī)則來傳遞特定含義信息的。手語手勢(shì)識(shí)別是通過計(jì)算機(jī)獲取手勢(shì)動(dòng)作信息，采用模式識(shí)別算法，將手語手勢(shì)的含義翻譯成語音或文

2、本信息，使健全人“聽的懂手語或看的懂手語”，幫助聾啞人與健全人之間的交流，促進(jìn)自然、順暢的人機(jī)交互方式的發(fā)展。
　　 根據(jù)輸入設(shè)備不同，手語手勢(shì)識(shí)別研究主要分為基于機(jī)器視覺(machine-vision)的識(shí)別和基于佩戴式輸入設(shè)備(body-instrumentation)的識(shí)別。單一傳感器只能獲取到手勢(shì)動(dòng)作的部分信息，擅長于對(duì)手勢(shì)動(dòng)作的特定側(cè)面信息進(jìn)行提取，而協(xié)同運(yùn)用多個(gè)傳感器則可以將不同類型傳感器進(jìn)行優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)在較短的時(shí)

3、間內(nèi)，以較小的代價(jià)采集到盡可能多而全面的手勢(shì)動(dòng)作信息。本文針對(duì)表面肌電電極(SurfaceElectromyography，SEMG)，加速計(jì)(Accelerometer，ACC)和攝像頭（Camera）三種低成本傳感器所檢測(cè)到的手勢(shì)動(dòng)作信息，提出一種有效的融合多傳感器信息（表面肌電傳感器，加速計(jì)與普通攝像頭）的手語手勢(shì)識(shí)別方法，達(dá)到同時(shí)提高多傳感器手語手勢(shì)識(shí)別的識(shí)別率和識(shí)別效率的效果。
　　 具體研究工作及研究成果主要有以下幾

4、點(diǎn)：
　　 (1)提出基于Ycbcr顏色空間的自適應(yīng)膚色分割方法。將亮度信息Y分為三個(gè)區(qū)間(Y＜125，Y∈[125，188]，Y＞188)，對(duì)對(duì)應(yīng)區(qū)間內(nèi)的色度值cr、cb分別進(jìn)行不同的色度變換，完成手勢(shì)圖片光線預(yù)處理操作，實(shí)現(xiàn)自適應(yīng)膚色提取算法。實(shí)驗(yàn)結(jié)果表明，該膚色分割方法不僅具有較強(qiáng)的適應(yīng)性，且能快速、精確的檢測(cè)出手部膚色區(qū)域。
　　 (2)針對(duì)視覺手語手勢(shì)識(shí)別效率低等問題，將關(guān)鍵幀提取思想引入到動(dòng)態(tài)手勢(shì)幀選取算法中

5、，采用固定采樣率對(duì)手勢(shì)圖片進(jìn)行采樣，剔除大量冗余手勢(shì)圖片，這在很大程度上縮短了手勢(shì)圖片預(yù)處理與模式訓(xùn)練所消耗的時(shí)間。其次，提取基于二值化信息的空間不變矩(HuMoments)、面積(Aera)和質(zhì)心(Centroid)三種簡單的手勢(shì)圖像特征作為視覺手勢(shì)特征。這種方法使視覺手語手勢(shì)識(shí)別率和識(shí)別效率同時(shí)得到了提高，對(duì)包含視覺信息的多傳感器手語手勢(shì)識(shí)別產(chǎn)生了積極的研究意義。
　　 (3)基于多傳感器信息檢測(cè)與融合，提出了一種基于gλ模