非平穩(wěn)數(shù)據(jù)流的概念漂移檢測及其分類.pdf

1、隨著信息時(shí)代的到來，人們越發(fā)察覺到信息的重要性并開始以各種方式搜尋“黃金”般的信息，其中最為突出也最為準(zhǔn)確的是從數(shù)據(jù)中得到信息。而收集數(shù)據(jù)的源頭之多、不完整性以及數(shù)據(jù)特征急劇膨脹，特別是數(shù)據(jù)流的出現(xiàn)，數(shù)據(jù)的存儲管理和數(shù)據(jù)分析出現(xiàn)了前所未有的困境。人們對數(shù)據(jù)中信息的渴求與目前落后數(shù)據(jù)存儲管理與挖掘技術(shù)的矛盾愈來愈烈，常常出現(xiàn)“望數(shù)興嘆”的場景。這種存在概念漂移、大量噪聲數(shù)據(jù)以及分布不均衡的數(shù)據(jù)流稱為非平穩(wěn)流，本文針對非平穩(wěn)數(shù)據(jù)流的概念漂移

2、及其分類問題進(jìn)行分析研究。
　　 首先對數(shù)據(jù)流挖掘的背景和意義及分類問題所面臨的挑戰(zhàn)進(jìn)行闡述;同時(shí)詳細(xì)地對目前存在的概念漂移應(yīng)對方法從檢測和處理的角度進(jìn)行總結(jié)和概述;不同側(cè)面地對數(shù)據(jù)流分類問題從單分類器和集成分類器進(jìn)行探討;并歸結(jié)當(dāng)前概念漂移檢測和處理及數(shù)據(jù)流分類方法存在的問題，從而提出本文研究的突破點(diǎn)。
　　 提出了基于鞅的數(shù)據(jù)流概念漂移檢測方法(CDDBM)，該方法是在研究了前人學(xué)者們從數(shù)據(jù)分布角度對概念漂移檢測的方

3、法后，在統(tǒng)計(jì)學(xué)鞅理論的基礎(chǔ)上歸納出了鞅檢測概念漂移的原理。該方法認(rèn)為概念漂移的發(fā)生不僅是因?yàn)閿?shù)據(jù)簇中心的變化，其半徑變化也會引起概念漂移，從而重定義了數(shù)據(jù)的相異度量的方法，并提出雙重冪鞅更為全面的統(tǒng)計(jì)方法，另外對合理控制概念漂移積累的閾值進(jìn)行和檢測窗口尺寸，使得該方法在理論上和實(shí)驗(yàn)中都取得了良好的效果，有效控制了誤報(bào)率和失報(bào)率。
　　 提出了基于特征漂移的數(shù)據(jù)流無監(jiān)督集成分類方法(ECFD)，該方法在不同數(shù)據(jù)特征對數(shù)據(jù)分類具有不