全局和局部相結合的數據挖掘方法及應用研究.pdf

1、數據挖掘經過十幾年的蓬勃發(fā)展，產生了豐碩的成果。各式各樣的數據挖掘理論被提出與采用；各式各樣的數據被挖掘；各種各樣的數據挖掘平臺被不斷地開發(fā)。 本文針對全局和局部挖掘的集成問題進行了分析，重點研究了基于局部信息的全局數據挖掘方法及應用。首先，根據數據挖掘的過程，我們將該問題的研究劃分成三個階段，即利用粒度數據表示進行挖掘，利用局部信息改善全局挖掘的效率和利用局部模式結果獲得全局數據理解，并對每個階段進行了研究，最后將所研方法應用

2、于文獻數據挖掘中。 本文所做的主要工作如下： (1)在數據表示上：提出了基于數據粒度表示的兩個高效挖掘算法GB-FIM和GrC-FIM。本文針對隱私保護造成數據扭曲使得挖掘效率下降的問題，我們提出了基于數據粒度表示的粒度位向量挖掘算法GB-FIM和粒度推理計算挖掘算法GrC-FIM。這兩個挖掘算法分別利用數據的粒度表示和粒度計算推理技術挖掘了扭曲數據集。GrC-FIM算法在GB-FIM的基礎上利用粒度推理的方法簡化了支持

3、度計算。實驗結果表明這兩個算法的運行效率較傳統(tǒng)算法提高較大，特別在稠密數據集上，利用粒度推理技術的方法不僅能夠提高運算效率，而且能夠提高挖掘的準確性。 (2)在結果精簡上：提出了基于支持度和模式相似性的混合距離模式壓縮算法。本文針對閉合序列模式數量較多影響理解的問題，研究了對其壓縮的方法，方便了信息的表達。我們針對基于模式支持集進行聚類方法的缺陷，提出了將支持度和序列模式本身相結合的混合距離方法。利用此距離，可以高效對閉合序列模

4、式進行聚類，且取得很好的聚類效果。利用從聚類中總結出精簡偏序的方法可將模式進行精簡表示。試驗結果顯示本算法能夠在效率與準確性之問得到較好的折衷，獲得理想的結果。 (3)在挖掘過程中：提出了基于啟發(fā)式搜索的全局偏序改進算法和基于傳遞閉包的動態(tài)貝葉斯網絡構造算法。利用局部模式能夠反映數據的局部特征，從而改進全局挖掘算法，提高其效率。首先我們利用序列的局部頻繁特征改進了全局偏序挖掘算法，在保證準確性的前提下提高了挖掘效率；然后，我們針

5、對全局偏序表達容易丟失局部信息的問題，提出了基于傳遞閉報的動態(tài)貝葉斯網絡方法來反映序列數據的特征，該算法能夠在不增加復雜度的前提下更加準確地對序列進行構造。 (4)在應用上：研究了基于文獻數據理解主題演化和影響的問題。當前，隨著數字圖書館技術的發(fā)展，大量文獻數據為研究者進行研究工作提供了便利，但同時使得如何更加快速和準確地理解領域的發(fā)展和演化變得困難。針對這一問題，我們首先利用本文所提出的基于傳遞閉包的動態(tài)貝葉斯網絡構造模型分析