非線性維數約減的研究及其應用.pdf

1、對維數約減的研究是機器學習的重要主題,維數約減較中肯地把握了人類的歸納學習和抽象思維過程的形式特征.維數約減算法大致可以分為兩類,一類是線性的方法:如主成分分析法(PCA)和經典多維尺度算法(CMDS),另一類是非線性的方法:如等距映射法(Isomap)、局域線性嵌入法(LLE)和自組織等距嵌入法(SIE)等.該文首先對幾種維數約減算法進行了研究和分析.經典的維數約減算法,如PCA和CMDS,實現簡單,可以確保發(fā)現處于高維向量空間的線性

2、子空間上的數據集的真實幾何結構.但是這類算法的線性本質使其無法揭示復雜的非線性流形.為此,許多非線性維數約減算法相繼提出.Isomap是一種全局優(yōu)化算法,該算法建立在經典多維尺度算法CMDS基礎之上,試圖保持數據間內在的幾何特性,即保持數據點之間的測地線距離;LLE是一種無監(jiān)督的學習算法,揭示非線性流形的全局結構.LLE使用一種局域對稱和線性重構的方法,將輸入空間的點集映射為一個單一低維的全局坐標系,并保持點的鄰域關系.SIE則是基于一

3、種幾何的觀點:一個全局等距的嵌入必然是局域等距的,同樣,適當選定一組局域等距約束條件,可以蘊含全局等距;SIE利用點集的距離分布作為等距約束條件,通過適當選取保持局域距離分布的局域等距映象,在概率意義上強迫出全局等距嵌入映象.為了客觀評價各種非線性維數約減算法的重構質量,該文采用仿真數據和真實數據分別用各種維數約減算法進行重構.該文將非線性維數約減的方法引入文本分類,并驗證了基于非線性維數約減的文本分類的可用性.仿真實驗表明,對于無噪數