基于劃分與層次的文本聚類研究.pdf

1、目前以文本形式存在的有用信息越來越多,因此怎樣快速并高效的聚類與分類這些大規(guī)模的文本信息變得越發(fā)重要.針對這一問題,文本的自動聚類和自動分類技術(shù)應(yīng)運而生.文本聚類技術(shù)是將文本劃分到不同的類別中去,是在結(jié)合了機器學(xué)習(xí)和統(tǒng)計方法的理論基礎(chǔ)上的,已經(jīng)得到了較為廣泛的實際應(yīng)用,并且已經(jīng)能夠較好的解決海量文本信息歸類的問題.目前在文本聚類研究領(lǐng)域中,主要有文本的表示以及聚類器算法兩個研究熱點.針對于文本表示方面,文本數(shù)據(jù)經(jīng)過預(yù)處理通常會獲得具有較

2、大稀疏性以及高維性的文本表示空間,并會導(dǎo)致文本聚類質(zhì)量的下降和效率的降低.在聚類器的算法中,文本聚類器主要有K-Means算法、K-Medoids算法、CURE算法、BIRCH算法、DBSCAN算法等,如何將這些算法進行改良,使得它們更適合于提高文本聚類的質(zhì)量和效率,也是現(xiàn)在研究的熱點問題.本文首先在緒論部分對文本聚類的產(chǎn)生背景、基礎(chǔ)理論和研究進展情況進行了簡要介紹,隨后詳細介紹了在文本聚類技術(shù)中常用聚類算法的基本信息,主要包括有算法思

3、想、種類以及它們的理論依據(jù)等,以及文本聚類算法的常用公認數(shù)據(jù)集以及文本聚類算法的結(jié)果評價標(biāo)準(zhǔn),并詳細介紹了文本聚類流程中所使用到的關(guān)鍵技術(shù).其中本文在深入研究和分析文本聚類的研究現(xiàn)狀以及目前針對文本聚類的研究中所彰顯的問題的基礎(chǔ)上,將研究重點放在了兩個問題上:一是如何設(shè)法對文本聚類的算法進行優(yōu)化,從而使文本聚類中的聚類器性能得到提升;二是通過充分的對比實驗來對本文提出改進方法是否具有預(yù)期的有效性進行驗證.
　　本文開展完成了以下工

4、作:
　　(1) K-Means算法作為最為常用的文本聚類算法之一,具有算法復(fù)雜度相對比較低,并且算法實現(xiàn)簡單等優(yōu)點,但它也有較明顯的缺點:算法在聚類初始中心的選擇上過于敏感,原始算法中所使用的隨機選擇初始聚類中心點的方法,會導(dǎo)致聚類器性能不穩(wěn)定,針對于K-Means算法的這個缺點,本文提出了基于可變閾值的K-Means聚類初始中心選擇方法,在選擇初始聚類中心點時,會依次選擇距離已有初始中心點的距離大于一個不定閾值的樣例作為下一個

5、新的初始聚類中心點,并根據(jù)滿足條件的初始聚類中心點的個數(shù)對該不定閾值進行適當(dāng)調(diào)整,直至獲得滿足條件的閾值以及初始聚類中心點,再進行聚類操作.在10個UCI數(shù)據(jù)集和4個文本數(shù)據(jù)集上的實驗結(jié)果顯示,該算法性能明顯優(yōu)于原K-Means算法.
　　(2)層次聚類分析作為數(shù)據(jù)挖掘和模式識別領(lǐng)域中非常重要的研究課題之一,同樣具有非常廣闊的應(yīng)用前景.受啟發(fā)于決策樹學(xué)習(xí)中對最佳分類屬性的選擇,本文提出了一種新的引入信息增益的層次聚類算法,該算法通