多流形數(shù)據(jù)建模及其應用.pdf

1、許多數(shù)據(jù)集可以通過一些簡單幾何對象的混合來建模，即多流形數(shù)據(jù)建模，比如眾所周知的NIST手寫體數(shù)字數(shù)據(jù)集和人臉數(shù)據(jù)集。有效地模擬及分析這類數(shù)據(jù)的數(shù)學模型是一項具有挑戰(zhàn)性的數(shù)學問題。在本世紀初的早期工作，建模數(shù)據(jù)的有效方法是使用單一流形，其思想是把一組在高維空間中的數(shù)據(jù)在其潛在的低維空間流形中表示出來，其主要目的是期望尋找產(chǎn)生數(shù)據(jù)集的內(nèi)在規(guī)律性，即從觀測的現(xiàn)象中去尋找其本質(zhì)。不同于單流形學習，多流形數(shù)據(jù)建模的目的是把輸入數(shù)據(jù)集分為若干個類

2、別，使得每個類別中的數(shù)據(jù)點都來自單一、簡單、低維嵌入流形。假定一組數(shù)據(jù)來自于多個流形，多流形數(shù)據(jù)建模的目標為:分析各子流形的數(shù)目和它們分別的維數(shù);數(shù)據(jù)的劃分（數(shù)據(jù)屬于不同的低維流形）;數(shù)據(jù)在對應低維流形的嵌入。
　　多流形數(shù)據(jù)建?？山沂緮?shù)據(jù)的潛在空間分布規(guī)律，為解決多流形結(jié)構(gòu)等復雜的數(shù)據(jù)，本文從頭部姿勢估計和人臉識別問題出發(fā)提出了幾種多流形數(shù)據(jù)建模方法。主要工作和創(chuàng)新點包括以下幾個方面:
　　1.提出了監(jiān)督流形嵌入的頭部姿勢

3、估計方法:很多數(shù)據(jù)降維的方法可以用于流形嵌入進行頭部姿勢估計，但面臨的困難是如何創(chuàng)建一種有效的嵌入算法，既可以很好地保留姿勢信息，又可以忽略掉與姿勢無關(guān)的圖像變化信息，如身份、背景等信息。在引用姿勢標簽信息的同時使用了身份信息來指導流形學習，本文提出了監(jiān)督的流形嵌入(Supervised Manifold Embedding，SME)算法，以期望學習頭部姿勢特征的同時去除身份等信息的影響。實驗結(jié)果表明:頭部姿勢圖像在低維嵌入空間中有很好

4、的類內(nèi)聚集性和類間分離性。
　　2.提出了基于近鄰傳播聚類的多流形數(shù)據(jù)建模方法:為進一步學習不依賴于身份的頭部姿勢特征，本文提出使用多流形來對頭部姿勢數(shù)據(jù)建模。一方面，因為身份所帶來的變化是在低維姿勢空間中流形嵌入的平移，旋轉(zhuǎn)和扭曲等;另一方面，由于身份的變化，嚴重地影響了單流形嵌入的光滑性和判別性。因此本文提出了基于近鄰傳播聚類的多流形嵌入(Multi-Manifold Embedding，MME)算法，該算法采用多流形來建模頭

5、部姿勢圖像，每一個流形來刻畫具有相似外觀的個體的姿勢流形。實驗結(jié)果表明:多流形建模提高了頭部姿勢估計的準確率。
　　3.提出了基于投影聚類的多流形數(shù)據(jù)建模方法:針對個體進行近鄰傳播聚類時，個體的特征維數(shù)很大，導致聚類的有效性降低。因此，本文使用投影聚類的思想方法來解決這個問題，提出了基于投影聚類的多流形數(shù)據(jù)建模方法，包括三個階段（尋找相似單純形、流形嵌入和K流形聚類）來建模頭部姿勢多流形，減弱了“維數(shù)災難”的影響，實驗結(jié)果表明:該

6、方法可以提高頭部姿勢在低維嵌入空間中的類內(nèi)聚集性和類間分離性。
　　4.提出了基于組稀疏性和非負性矩陣分解的多流形數(shù)據(jù)建模方法:使用L1/L2正則化方法來對矩陣分解的系數(shù)矩陣H進行列的組稀疏約束，可得到由多個流形投影矩陣組成的基矩陣W。本文提出了組稀疏非負矩陣分解(Group Sparse Non-negative Matrix Factoriza-tion，GSNMF)算法。通過組稀疏和非負矩陣分解把數(shù)據(jù)空間建模為多流形空間，其