基于梯度提升模型的負相關學習算法的研究與應用.pdf

1、論文的第一個工作是關于集成學習的研究。在機器學習領域，我們把具備從經驗知識中學習能力的系統(tǒng)或者模型叫做學習器。一般來說訓練出一個學習能力較弱的模型比訓練出一個學習能力較強的模型所要耗費的代價小得多。集成學習是一類特殊的機器學習方法，其思想是不直接訓練一個強學習器，而是通過組合一批弱學習器來得到一個學習能力強的集成學習器。集成學習算法性能好壞主要取決于兩個因素:基學習器自身的性能好壞以及基學習器之間的差異性。目前常用的集成學習算法包括Ba

2、gging、Boosting等，在提升每個基學習器性能的同時，其實也是在以一種隱性的方式維持了基學習器之間的差異性，從而使得最終的集成學習器的性能達到最佳。負相關學習(Negative correlationlearning，NCL)是一種常用于神經網絡集成的集成學習算法，它是把基學習器之間的差異性作為一個顯性的度量標準引入到神經網絡的損失函數中去，進而影響神經網絡的訓練。通過調整影響影子可以權衡基神經網絡之間的性能與多樣性，以謀求獲得

3、一個性能最優(yōu)的集成神經網絡模型。
　　我們借鑒NCL的思路，提出了一種新的集成學習算法。NCL最早提出是使用神經網絡作為基學習器，而且目前有關NCL的研究大多數還是采用神經網絡作為基學習模型，主要原因是神經網絡具有一個顯性的損失函數，而且訓練神經網絡的BP算法是一種采用梯度下降方法來最小化該損失函數的優(yōu)化算法。我們比較了神經網絡與另外一種常用的學習模型:梯度提升模型(gradientboosting machine，GBM)之間的

4、相似性，提出可以用GBM代替神經網絡來實踐負相關學習的思想，設計出一種新的集成學習算法:GB-NCL。論文給出了GB-NCL算法的設計思路以及詳細的步驟，并且通過實驗比較了GB-NCL與原始基于神經網絡的NCL算法以及梯度提升算法的分類性能。實驗結果表明GB-NCL算法相比于這兩種算法，擁有更好的性能。
　　論文的第二個工作是基于GB-NCL算法設計并實現了一種新的用于解決高光譜遙感圖像分類問題的分類算法:RCASSL。高光譜遙感

5、圖像分類的特點是標記樣本少，未標記的樣本多，而且人工標記遙感圖像的像素點屬于什么地物類別的成本比較大。前人的做法主要有兩種:第一種，利用主動學習算法，從大量未標記樣本中挑選出最值得標記的像素點讓人類專家來標記其所屬的地物類別。這種方法的特點是新增訓練樣本的質量高（類標號百分百正確），但是數量少。第二種，利用半監(jiān)督學習算法，用已訓練出來的分類器賦予一些未標記樣本類標號，并將其視為真實可用的樣本，添加到訓練集中，我們稱之為“偽標記”樣本。這

6、類算法可以大大提高訓練樣本數量但是無法保證新增的偽標記樣本的類標號一定正確。數量多，質量不好，這是半監(jiān)督學習算法的特點。
　　我們提出不妨將主動學習與半監(jiān)督學習結合，并且引入一套“偽”標記樣本驗證的機制，對通過半監(jiān)督學習引入進來的偽標記樣本進行校驗，將不合格的偽標記樣本剔除出去，從而既能夠獲得足夠多的訓練樣本，又能夠保證訓練樣本集的質量。擁有了更大更完備的訓練集，訓練出來的分類器也就自然會有更佳的性能。根據這種想法我們在論文中針對

7、高光譜遙感分類設計了RCASSL算法。RCASSL在訓練分類器的時候不僅采用帶標記的樣本，而且使用半監(jiān)督學習引入的偽標記樣本。我們采用GB-NCL算法校驗半監(jiān)督學習方法引入的偽標記樣本，提升偽標記樣本集的質量。我們在高光譜遙感數數據集上對比了RCASSL算法、MCLU-ECBD算法以及RCASSL-NoPLV算法。MCLU-ECBD算法是一種常用的主動學習算法。RCASSL-NoPLV算法是去除掉偽標記樣驗證環(huán)節(jié)的RCASSL算法。實驗