語義屬性數(shù)據(jù)聚類-分類算法及其在異常檢測中的應用研究.pdf

1、隨著網(wǎng)絡技術(shù)的發(fā)展、應用程度的不斷提高，重要信息系統(tǒng)的安全越來越受到嚴重威脅，各種網(wǎng)絡安全事件越發(fā)不可避免，日益嚴重的網(wǎng)絡安全危機甚至已經(jīng)成為危及國家安全的關(guān)鍵因素。對入侵與攻擊行為的檢測與防范，保障計算機系統(tǒng)、網(wǎng)絡系統(tǒng)和整個信息基礎設施的安全已經(jīng)成為一項刻不容緩的重要課題。雖然面向小規(guī)模網(wǎng)絡的異常檢測技術(shù)相對比較多，但隨著網(wǎng)絡帶寬、網(wǎng)絡規(guī)模的不斷增長，復雜網(wǎng)絡行為表現(xiàn)出了許多新的特性，深刻認識網(wǎng)絡業(yè)務數(shù)據(jù)中潛在的規(guī)律和特殊性，是不斷改

2、進、提高異常檢測方法性能的前提和基礎，是進一步提高入侵檢測系統(tǒng)的信任度、甚至實現(xiàn)大規(guī)模網(wǎng)絡異常檢測的關(guān)鍵所在?；谶@樣的認識，論文研究分析了網(wǎng)絡連接數(shù)據(jù)和異常檢測樣本數(shù)據(jù)的特點，對數(shù)據(jù)集提出了一些新見解，認識到了網(wǎng)絡數(shù)據(jù)中的一些新規(guī)律，以這些新發(fā)現(xiàn)和認識為出發(fā)點進行一系列有關(guān)異常檢測算法的研究、探索，更加明確了本文的研究內(nèi)容和意義。著重研究了以下三方面的問題，主要工作和創(chuàng)新成果一并概括如下：
　　 (1)深入地分析和研究了網(wǎng)絡數(shù)

3、據(jù)/異常檢測樣本集(KDD Cup1999)中的新規(guī)律和新特點，如存在著大量的語義屬性數(shù)據(jù)；樣本記錄是異構(gòu)的；數(shù)據(jù)樣本的分布不平衡；數(shù)據(jù)樣本集由大量的同質(zhì)異構(gòu)樣本組成；入侵數(shù)據(jù)相對于正常網(wǎng)絡數(shù)據(jù)是離群數(shù)據(jù)等。通過對語義數(shù)據(jù)、異構(gòu)數(shù)據(jù)相異性度量測度的研究，研究提出了新的度量方法；研究提出了數(shù)據(jù)集中聚類線索的挖掘方法，從樣本組成和維組成兩個角度挖掘樣本的結(jié)構(gòu)信息，分別提出了語義數(shù)據(jù)的量子聚類算法、離群聚類算法和結(jié)構(gòu)熵聚類算法，并向異構(gòu)數(shù)據(jù)集

4、進行了擴展。進一步進行了基于相應聚類算法的異常檢測研究，檢測方法效果好。
　　 (2)量子力學是一門研究微觀粒子在能量場中分布的科學，對波函數(shù)、量子勢能、薛定鍔方程以及能量場決定粒子分布的這一量子機制進行了分析研究，指出了這一機制與數(shù)據(jù)挖掘中的聚類機制的相似性，從而給出了量子聚類(Quamum Clustering，QC)算法的量子理論依據(jù)；通過用量子力學中的波函數(shù)推導FCM(Fuzzy c-Means)算法中的模糊相似系數(shù)，給

5、出了一個FCM算法的量子理論解釋：提出了量子聚類算法中調(diào)節(jié)參數(shù)的一種估算方法，大大地縮短了量子聚類算法的訓練時間；針對網(wǎng)絡數(shù)據(jù)中存在大量語義屬性的特點，提出了一種語義屬性數(shù)據(jù)的模糊量子聚類算法；并進一步研究提出了基于量子理論的異常檢測方法。
　　 (3)語義屬性數(shù)據(jù)的內(nèi)積計算是一個公認的難點問題。通過對核方法和支撐向量機中核函數(shù)的分析，提出了一種語義屬性數(shù)據(jù)內(nèi)積計算的核方法，并擴展到異構(gòu)數(shù)據(jù)的內(nèi)積計算，有效的擴展了支撐向量機的應