基于圖的半監(jiān)督學習算法及其應用.pdf

1、在傳統(tǒng)機器學習中，學習器需要對大量標記數(shù)據(jù)進行學習從而建立模型來對未標記數(shù)據(jù)或未見數(shù)據(jù)進行預測。而實際應用中，海量的未標記數(shù)據(jù)是容易獲取的，而對其進行準確標記往往較為困難。因此，人們嘗試將大量的未標記數(shù)據(jù)加入到有限的標記數(shù)據(jù)中一起進行訓練學習，期望能夠改進學習性能，于是產(chǎn)生了半監(jiān)督學習，旨在解決監(jiān)督學習模型泛化能力不強、非監(jiān)督學習的模型不精確等問題。其中，基于圖的半監(jiān)督學習算法因其良好的性能和易于求解的優(yōu)點得到了廣泛關注。基于圖的半監(jiān)督

2、學習算法主要包括兩個步驟:1）在輸入數(shù)據(jù)上構造圖;2）在構造的圖上運用合適的學習算法推斷圖中未標記樣本。本文主要針對這兩個步驟，提出了兩種圖構造算法和兩種半監(jiān)督嵌入算法。論文主要工作如下:
　　1.提出了一種基于數(shù)據(jù)自表示和拉普拉斯平滑約束的圖構造算法(SRLS)及其多個變種。研究表明數(shù)據(jù)表示所得到的表示系數(shù)反映了數(shù)據(jù)之間的相似度關系，可作為一種相似度衡量。這種相似度衡量可用于圖中數(shù)據(jù)之間連接邊的權值。而數(shù)據(jù)自表示所得到的系數(shù)表示

3、矩陣的每列可看成對應原數(shù)據(jù)一種新的表示，因此本文認為這種新的表示數(shù)據(jù)應當具備原始數(shù)據(jù)的某些特點。比如原始數(shù)據(jù)中兩個較為接近的數(shù)據(jù)點所對應的新表示數(shù)據(jù)點之間應當具有較高相似度，這種約束關系在稱為拉普拉斯平滑約束。SRLS圖構造算法在l2范數(shù)最小化的數(shù)據(jù)自表示算法基礎上，引入拉普拉斯平滑約束，并以此來構造圖。由于l2范數(shù)最小化的數(shù)據(jù)自表示算法得到的系數(shù)表示矩陣往往是稠密的，為增加系數(shù)表示矩陣的稀疏度，本文又提出了一種基于SRLS圖的兩步算法

4、。此外，分別將原線性空間擴展到希爾伯特空間和列生成空間，本文提出了兩種核SRLS算法。核SRLS算法是通過迭代實現(xiàn)的，深入研究發(fā)現(xiàn)其優(yōu)化問題在一定約束條件下可直接得到最優(yōu)解，于是提出了一種約束核SRLS算法。
　　2.提出了一種拉普拉斯平滑約束稀疏圖算法(SGLS)及其多個變種。SGLS算法在稀疏圖的基礎上引入拉普拉斯平滑約束來構造圖。稀疏圖通過稀疏數(shù)據(jù)自表示得到，其核心是稀疏表示算法，通過l1范數(shù)優(yōu)化問題得到稀疏表示系數(shù)。所提出

5、的SGLS算法繼承了稀疏圖的許多特性，比如系數(shù)表示矩陣稀疏度高、對噪聲魯棒等。此外，本文也提出了核SGLS算法。同時，核SGLS算法所解決的優(yōu)化問題在一定約束條件下可直接得到最優(yōu)解，提出了一種約束核SGLS算法。
　　3.提出了一種約束稀疏保持嵌入算法(CSPE)。稀疏保持投影算法(SPP)是一種經(jīng)典的非監(jiān)督嵌入算法，其通過在嵌入空間中保持原始數(shù)據(jù)空間中數(shù)據(jù)之間的稀疏表示結構。受其啟發(fā)，本文提出了一種新的半監(jiān)督嵌入算法，稱其為帶約