多視角三維人體運動捕捉的研究.pdf

1、非接觸式人體運動捕捉一直是計算機視覺領域的熱點問題。但經(jīng)過多年的研究，由于復雜多變的背景、三維空間到二維圖像平面投影的多義性、人體遮擋與自遮擋、高維狀態(tài)空間搜索等問題，非接觸式人體運動捕捉仍是一項非常具有挑戰(zhàn)性的課題。
　　本文針對目前非接觸式人體運動捕捉研究中存在的問題，圍繞多視角三維人體運動捕捉這一課題展開深入探討。重點研究了如何在復雜場景下有效提取人體輪廓，如何去除多視角三維人體運動捕捉中對視頻同步的假設，以及如何魯棒的對人

2、體姿態(tài)進行估計，這三個重要問題。致力于盡可能減少現(xiàn)有多視角人體運動捕捉系統(tǒng)在實際應用中的限制，構(gòu)建一個能夠應對復雜背景，具有移動靈活性，并且能夠準確獲取人體運動數(shù)據(jù)的人體運動捕捉方案。本文的主要研究工作及貢獻包括以下幾個方面:
　　1.提出了一種基于雙層高斯混合模型(Bilayer Gaussian Mixture Model，BGMM)和馬爾可夫隨機場(Markov Random Field，MRF)的前景分割方法，即BGMM-

3、MRF。它不僅能夠處理動態(tài)場景中的重復性擾動因素，而且能夠處理場景中緩慢或劇烈的光照變化。與現(xiàn)有只考慮了重復性擾動、緩慢的光照變化，或只針對劇烈光照變化的前景分割方法相比，它能夠適應更復雜的場景。此外，通過將BGMM與MRF相結(jié)合，它同時利用了像素在時間和空間上的關聯(lián)，能夠有效糾正分割結(jié)果中的“偽目標”和“空洞”，確保提供與目標形狀一致的分割結(jié)果。
　　2.提出了一種基于層次式MRF（Hierachichal-MRF，HMRF）的

4、前景分割方法。針對BGMM-MRF只能對出現(xiàn)過的背景狀態(tài)快速響應，而對新的背景狀態(tài)需要時間適應學習的問題，我們提出了一個新的HMRF概率模型。通過HMRF，將BGMM-MRF中對全局背景狀態(tài)的推斷轉(zhuǎn)化為在區(qū)域?qū)哟紊蠈Ρ尘盃顟B(tài)的推斷，擴展了能夠處理的背景狀態(tài)。在分割過程中，采用軟分割的策略，處理背景狀態(tài)離散性與光照空間變化連續(xù)性的問題，提高算法的魯棒性和精確性。
　　3.針對現(xiàn)有多視角人體運動捕捉需要使用昂貴的硬件同步設備及特殊攝像

5、機完成視頻同步的問題，提出了一種基于非同步視頻的人體運動捕捉方法。它利用劇烈光照變化對多視頻的同步參數(shù)進行估計，并提出一種可以處理劇烈光照變化的人體姿態(tài)估計方法，基于估計的同步參數(shù)獲取人體運動數(shù)據(jù)。從而去除了多視角人體運動捕捉中關于視頻同步的假設，免除了對硬件同步設備的需要，在降低系統(tǒng)造價和技術復雜度的同時提高了系統(tǒng)的移動靈活性。
　　4.提出了一種基于顏色約束動態(tài)MRF的人體姿態(tài)估計方法(ColorConstrained Dyn

6、amic MRF，CC-DMRF)。它采用一種高效的方式獲取帶有表面紋理的人體體素重建數(shù)據(jù)，并通過構(gòu)建身體部位顏色模型將顏色信息引入姿態(tài)優(yōu)化過程。與現(xiàn)有的三維動態(tài)馬爾可夫隨機場(3D Dynamic MarkovRandom Field，3D-DMRF)人體姿態(tài)估計方法相比，CC-DMRF方法通過引入顏色約束，一定程度上解決了在人體不同部位接觸時，體素數(shù)據(jù)與人體模型匹配中產(chǎn)生的多義性問題，提高了人體姿態(tài)估計的魯棒性。
　　5.構(gòu)建