含有限類標(biāo)數(shù)據(jù)的數(shù)據(jù)流分類算法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的日益普及和飛速發(fā)展,許多像實時監(jiān)控系統(tǒng)、通信網(wǎng)絡(luò)和無線傳感器網(wǎng)絡(luò)等新的領(lǐng)域產(chǎn)生了海量的、實時連續(xù)的且動態(tài)變化的數(shù)據(jù),這些數(shù)據(jù)在學(xué)術(shù)領(lǐng)域被稱作數(shù)據(jù)流。對于這種數(shù)據(jù),顯然不能使用傳統(tǒng)的挖掘方法進(jìn)行分析和研究,需要針對數(shù)據(jù)流的挖掘研究新的方法。數(shù)據(jù)流分類是數(shù)據(jù)流挖掘領(lǐng)域一項非常重要的技術(shù),首先需要對大量已標(biāo)記數(shù)據(jù)樣本進(jìn)行學(xué)習(xí),然后從中提取知識并用來對未知數(shù)據(jù)進(jìn)行預(yù)測。由于這些數(shù)據(jù)樣本中隱含的概念和知識有可能會隨著時間和環(huán)境不斷的

2、發(fā)生變化,即存在著概念漂移,因此一個好的數(shù)據(jù)流分類算法不僅需要在有限的響應(yīng)時間和內(nèi)存下完成高精度的分類任務(wù),并且要能有效地處理概念漂移。
　　已研究的數(shù)據(jù)流分類算法大部分都是有監(jiān)督學(xué)習(xí),用來訓(xùn)練的數(shù)據(jù)都必須是帶類標(biāo)的,然而對數(shù)據(jù)進(jìn)行標(biāo)記需要花費大量的時間和財力物力,也許聚類算法不存在這樣的苦惱,但是聚類分析沒有關(guān)注到數(shù)據(jù)流中的少量有標(biāo)記樣本,從而降低了算法的準(zhǔn)確度。針對上述問題,本文主要選取“含有限類標(biāo)數(shù)據(jù)的數(shù)據(jù)流分類”這個視覺進(jìn)

3、行研究,提出了兩種數(shù)據(jù)流分類算法SKAOGClass和SMEClass。算法SKAOGClass是一種增量式的分類算法,它選用一種特殊的K-關(guān)聯(lián)圖來表示數(shù)據(jù)樣本間的拓?fù)浣Y(jié)構(gòu)和相似性,從而可以進(jìn)行類別區(qū)分,算法以K-關(guān)聯(lián)最優(yōu)圖作為基礎(chǔ)模型,為K-關(guān)聯(lián)最優(yōu)圖設(shè)計了半監(jiān)督的構(gòu)造方法,并用這種半監(jiān)督K-關(guān)聯(lián)最優(yōu)圖方法來構(gòu)造基礎(chǔ)分類器,從而避免了算法受參數(shù)設(shè)置的影響,當(dāng)新的樣本到來時,將其轉(zhuǎn)換為頂點,并與構(gòu)造好的主圖進(jìn)行預(yù)連接,再使用貝葉斯理論來

4、估計未知數(shù)據(jù)的類標(biāo)。算法SMEClass則是結(jié)合橫向集成和縱向集成各自的優(yōu)勢,選用決策樹分類器和貝葉斯分類器作為基分類器構(gòu)造一種集成模型,在新數(shù)據(jù)塊上先根據(jù)已有標(biāo)記數(shù)據(jù)訓(xùn)練決策樹分類器,再根據(jù)它和集成分類器中的K個分類器對未標(biāo)記數(shù)據(jù)進(jìn)行投票標(biāo)記,最后根據(jù)新構(gòu)建的分類器更新集成分類器,模型中的貝葉斯分類器是用來監(jiān)督數(shù)據(jù)標(biāo)記過程的,它可以過濾掉噪音數(shù)據(jù)。在人工合成數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗表明,SKAOGClass算法和SMEClass算法