類別不平衡數據的集成學習研究.pdf

1、分類是機器學習的重要任務之一，傳統(tǒng)的分類方法有一個默認的假設，就是數據集中各類別所包含的樣本是均衡的，故傳統(tǒng)的分類方法都是以提高數據集的總體準確率為目標的。但是在現實生活中，經常會存在這樣的數據，即某一類別所包含的樣本的數量遠遠小于其他類別所包含的樣本數量，我們稱這樣的數據為類別不平衡數據。在這些數據集中，人們主要關注的是小類樣本的信息(少數類)，但是傳統(tǒng)的分類方法由于追求總體的準確率，很容易將全部樣本判別為多數類，使得分類器在少數類樣

2、本上的效果變得很差。這樣誤分的代價是巨大的。類別不平衡問題由于其廣泛的存在和自身的特殊性，已經成為機器學習和模式識別領域的焦點，是對傳統(tǒng)分類方法的重大挑戰(zhàn)。
　　目前國際上對類別不平衡數據的研究主要集中在兩個個層面:對數據集的處理和對分類算法的改進。對數據集的處理主要是用重采樣的方法對數據集重構，改變原始數據集的分布，縮減其不平衡程度，主要方法有欠取樣和過取樣；對分類算法的改進主要是修改傳統(tǒng)分類算法，使之適應類別不平衡數據分類，如

3、代價敏感學習及基于Boosting的方法等。近幾年也有學者提出將重構數據集和改進分類算法結合起來使用。對上述諸方法的研究已經取得矚目的成就，在很大程度上改善了不平衡數據的分類現狀，但是依然存在過度擬合、信息丟失等問題，影響了分類結果的可靠性和穩(wěn)定性。因此，在不影響多數類分類精度的前提下提高少數類的識別率是一個很重要的研究課題。
　　本文針對類別不平衡數據這一課題，從對數據集的處理以及分類算法的改進兩方面展開研究，提出幾種適合處理類

4、別不平衡問題的新方法。本文的主要創(chuàng)新成果有:
　　1.對數據集的處理:受級聯(lián)結構的啟示，提出了一種針對不平衡數據集分類的新方法，基于級聯(lián)結構的Bagging分類方法(CasBagging)。該方法通過在每一級剔除一部分多數類樣本的方式使數據集逐步趨于平衡，并應用欠取樣技術得到訓練集，用Bagging算法訓練分類器，最后把每一級訓練到的分類器集成為一個新的分類器。在weka平臺上實現該算法，在10個 UCI數據集上的實驗結果表明，該

5、方法優(yōu)于原始 Bagging和AdaBoost。
　　2.對分類算法的改進:當用神經網絡處理類別不平衡問題時，存在一個既定的事實，即少數類對誤差函數的貢獻要遠遠小于多數類的貢獻，故訓練出來的網絡更傾向于識別多數類樣本。針對這個問題，提出一種改進的反向傳播算法WNN，在該算法中，首先根據樣本所屬的類別對其加權，少數類賦予較大權重，多數類賦予較小權重，然后重新定義了誤差函數，使其在計算樣本誤差時考慮該樣本的權重。在20個 UCI數據集