交叉樣例選擇研究.pdf

1、海量數據是數字時代明顯的特征，數據大規(guī)模增長使得數據處理變得異常困難，樣例選擇是處理海量數據的主要方法之一。樣例選擇的目的是去除原始數據集中的冗余樣例和噪音樣例，從而得到一個能夠代表原數據集的小規(guī)模子集。傳統的樣例選擇算法大多是針對某一種分類器而設計的，因此其結果往往也只適用于這種類型的分類器。此外，隨著數據集規(guī)模的增長，經典的樣例選擇算法難于處理大規(guī)模數據集，高效率的樣例選擇算法，特別是針對大數據集的樣例選擇算法成為近幾年的研究熱點。

2、
　　本文針對較大數據集分類問題，提出了能夠用于不同分類器的樣例選擇算法，該算法基于分治和交叉驗證的思想進行樣例選擇。具體地，首先將數據集分為若干不相交的子集，對于每一個數據集，用其他子集訓練出的分類器組成委員會，對該子集進行樣例選擇。針對輸出為后驗概率的分類器使用K‐L散度度量樣例的重要性，針對其他分類器使用投票熵度量樣例的重要性。當使用速度快的ELM分類器時，本文提出的算法能夠快速處理較大規(guī)模的數據集。為了驗證本文算法的有效性