web中文文本的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、隨著Web信息的急劇增長(zhǎng),人們迫切需要一種技術(shù)來(lái)對(duì)信息進(jìn)行組織和管理,幫助用戶快速、準(zhǔn)確地找到需要的信息,數(shù)據(jù)挖掘和web技術(shù)相結(jié)合的web挖掘應(yīng)運(yùn)而生。文本作為web上信息的主要形式,文本挖掘近年來(lái)成為研究的熱點(diǎn)。中文文本挖掘起步較晚,在理論研究和應(yīng)用方面都落后于英文文本挖掘,因此本文以web中文文本挖掘作為研究重點(diǎn)。
　　 本文主要研究的是文本挖掘中web中文文本的聚類和分類問(wèn)題。文本分類和聚類是文本挖掘中的關(guān)鍵技術(shù),通過(guò)對(duì)

2、文本進(jìn)行歸檔整理,可以在很大程度上解決信息爆炸和信息雜亂的問(wèn)題。同時(shí)作為信息檢索、信息過(guò)濾、搜索引擎、電子圖書(shū)館、文本數(shù)據(jù)庫(kù)等領(lǐng)域的技術(shù)基礎(chǔ),文本分類和聚類應(yīng)用領(lǐng)域非常廣泛。
　　 文章首先對(duì)相關(guān)的理論知識(shí)進(jìn)行了介紹,概念從大到小包括數(shù)據(jù)挖掘、web挖掘、文本挖掘以及文本分類和聚類;對(duì)文本進(jìn)行分類和聚類首先要把文本轉(zhuǎn)化為計(jì)算機(jī)可以處理的形式,所以接下來(lái)我們對(duì)web文檔矩陣化形式轉(zhuǎn)化的預(yù)處理過(guò)程進(jìn)行了研究;最后將我們提出的聚類和分

3、類算法應(yīng)用到中文文本的聚類和分類中。
　　 文章介紹和實(shí)現(xiàn)了常用的聚類算法:K-means算法和模糊c均值(FCM)算法。
　　 將web文檔矩陣化首先要從網(wǎng)頁(yè)中去掉HTML標(biāo)記,濾掉無(wú)關(guān)信息,解析出純文本;中文文本和英文文本不同,詞與詞之間沒(méi)有間隔,所以要進(jìn)行分詞處理;然后采用權(quán)重計(jì)算公式計(jì)算出特征詞項(xiàng)的權(quán)重,基本思想是若某特征詞在本篇文檔中出現(xiàn)的次數(shù)多,而在其他文檔中出現(xiàn)的次數(shù)少,該詞被賦予更高的權(quán)重來(lái)代表本文檔,并

4、與其他文檔進(jìn)行區(qū)分。這樣web文檔就轉(zhuǎn)化為詞項(xiàng)-文檔的向量空間,以便后面的聚類和分類算法的執(zhí)行。
　　 文章分析了文本挖掘過(guò)程中文本矩陣的高維性和稀疏性的特點(diǎn),并針對(duì)此特點(diǎn)提出將基于子空間的聚類算法和基于語(yǔ)義的奇異值分解的聚類算法兩種方法應(yīng)用于中文文本的聚類。某個(gè)主題的文本會(huì)有特定的主題詞子集,存在著特征子空間的結(jié)構(gòu)。采用子空間聚類可以忽略掉對(duì)分類不重要的維,給重要的維賦予更高的權(quán)重,凸顯主題詞子集對(duì)分類的作用,解決高維性和稀疏

5、性問(wèn)題,所以基于子空間的聚類可以提高聚類的準(zhǔn)確率和效率,對(duì)文檔數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明,該算法聚類效果令人滿意。奇異值分解對(duì)數(shù)據(jù)集的特征值按重要性排序,一方面把不重要的維看做“噪聲”忽略掉,凸顯詞項(xiàng)和文章之間的語(yǔ)義關(guān)系,另一方面使得文檔矩陣維數(shù)大大縮減,從而提高文檔聚類的準(zhǔn)確性。我們先用奇異值分解對(duì)文檔矩陣降維,后用人工魚(yú)群優(yōu)化算法對(duì)文本聚類,對(duì)文檔數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明這種方法在保證準(zhǔn)確率的情況下提高了效率。
　　 本文還實(shí)現(xiàn)了改進(jìn)的支