面向動態(tài)數據流的分類方法研究.pdf

1、隨著信息社會的發(fā)展，各個領域產生的數據量呈現(xiàn)出爆炸性增長，許多領域產生了海量的數據流，如何從海量的數據流中挖掘出有價值的信息,這是一個在當前受到廣泛關注的問題。分類是一種重要的數據分析形式，它通過已有的數據來預測未知數據的類標簽，在傳統(tǒng)的分類算法中，一旦分類模型訓練完成，分類模型也就被固定，也不再進行調整，很顯然，這種分類模式無法應對動態(tài)變化的數據流。數據流不同于傳統(tǒng)的靜態(tài)數據，往往具有數據數量無限，快速到達，概念漂移等特性，因此，從數

2、據流中挖掘出人們感興趣的知識和模式需要全新的算法框架。
　　數據流反映的是數據的實時信息，與傳統(tǒng)的分類算法相比，數據流分類最大的特點是能夠根據數據的動態(tài)變化來不斷地調整分類模型。然而，數據流中含有概念漂移，如何更加有效地檢測出概念漂移以及采取一定的措施來更好地應對概念漂移，這是數據流分類中一個需要亟待解決的問題。為此，本文以傳統(tǒng)的分類框架為基礎，針對數據流的分類問題進行了系統(tǒng)地研究，主要取得了如下成果：
　　1.結合單隱含層

3、的神經網絡極限學習機模型和在線序列學習機制，提出了一種面向數據流分類的快速極限學習機算法，給出了快速二分搜索確定隱含層節(jié)點數目的方法，并通過相鄰兩個數據塊分類結果準確率的變化幅度來判斷是否發(fā)生概念漂移。該算法解決了傳統(tǒng)的神經網絡學習速度慢，時間開銷大，無法直接應用在數據流分類任務的問題。實驗結果表明，該算法不但可以有效地檢測出概念漂移，而且能夠獲得很高的準確率。
　　2.根據數據流中不同類型的變化對分類器性能的影響，提出了一種帶有

4、自適應調整機制的動態(tài)極限學習機算法。給出了根據分類結果的準確率來動態(tài)調整隱含層節(jié)點數目的方法，當算法檢測到概念漂移時，通過重新構建新的ELM來適應新的數據分布。實驗結果表明，此算法由于具有自適應調整機制，在具有原始ELM算法優(yōu)點的同時，降低了對用戶經驗的依賴。
　　3.根據數據塊信息量的變化與數據分布關系，提出了一種基于信息熵的集成式數據流分類算法ECBE。該算法利用Hoeffding界來判斷是否發(fā)生了概念漂移，當發(fā)生概念漂移時，

5、系統(tǒng)根據權值來對分類器進行凋整。該算法在訓練階段訓練多個分類器，分類器的權值由分類前后熵值的變化來確定。實驗結果表明，相比于用準確率反映數據塊數據分布的算法，ECBE算法能夠獲得更佳的分類效果。
　　4.針對數據流中漸進式概念漂移檢測問題，提出了一種結合無監(jiān)督學習的數據流分類算法。該算法以集成式分類技術為基礎，在分類過程中引入屬性約簡，通過對比分類和聚類結果的準確率，來判斷是否發(fā)生概念漂移，從而避免了依據相鄰兩個數據塊分類結果的準

6、確率往往只對突變式概念漂移較為敏感的問題。實驗結果表明，該算法在突變式和漸進式概念漂移上都取得了較好的效果，具有良好的魯棒性。
　　5.在概念漂移中，衡量分類器對前后兩個數據塊的分類能力是關鍵，而Kappa系數是衡量兩個變量一致性的重要方法。為了應對隱含概念漂移的數據流分類問題，提出了一種基于Kappa系數的數據流分類算法。該算法在分類的過程中計算各個數據塊的分類結果的Kappa系數，利用Kappa系數來檢測數據流中的概念是否發(fā)生

7、改變。實驗結果表明，該算法能以較快的速度適應數據的動態(tài)變化，在時間消耗和分類精度方面具有較為明顯的優(yōu)勢。
　　本文針對隱含概念漂移的數據流分類問題，分別依據ELM、雙隱含層的ELM、信息熵、無監(jiān)督學習，Kappa系數等機制，發(fā)展出了一系列有效的數據流分類算法，相關的實驗結果也充分地表明，這些算法是可行且有效的，不但能夠有效地檢測出數據流中的概念漂移，而且能夠獲得較好的分類效果。本文的研究成果，對于面向數據流分類方法的研究具有重要的