Web中文文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，網(wǎng)頁上的文本信息呈現(xiàn)出爆炸式增長的趨勢。如何索引，檢索，管理，挖掘網(wǎng)頁上的海量文本信息已經(jīng)成為計(jì)算科學(xué)領(lǐng)域所面臨的一個(gè)巨大挑戰(zhàn)。文本聚類技術(shù)的出現(xiàn)為海量文本信息的分類管理及可視化提供了一條有效的途徑。文本聚類技術(shù)作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，近年來在信息檢索、多文本自動摘要等互聯(lián)網(wǎng)領(lǐng)域獲得了廣泛的應(yīng)用。
　　 本文的討論對象是中文網(wǎng)頁的文本聚類，在查閱了國內(nèi)外的已有的學(xué)術(shù)成果以及最新的研究發(fā)現(xiàn)的基礎(chǔ)上，較深入地

2、研究其在兩種典型場景中的應(yīng)用：(1)新聞門戶網(wǎng)站中的海量文本數(shù)目的中文文本聚類；(2)中文搜索引擎返回結(jié)果等場景中的實(shí)時(shí)聚類。
　　 在第一個(gè)場景中，本文在MapReduce這個(gè)分布式并行計(jì)算框架上設(shè)計(jì)了文本聚類相關(guān)的一系列分布式改進(jìn)算法。在文本預(yù)處理階段，為了評價(jià)某一詞語對文本集中某一文本的重要程度，本文在MapReduce上設(shè)計(jì)實(shí)現(xiàn)了一個(gè)計(jì)算詞語tfidf權(quán)重的新的迭代算法。在文本聚類階段，先采用一個(gè)粗略的距離度量把文本集合

3、中的各個(gè)文本劃分到了可重疊的子集里。然后又在上一步聚類的基礎(chǔ)上進(jìn)一步設(shè)計(jì)了分布式的K-平均文本聚類算法，這一步采用的文本間距離度量比較精確，但算法復(fù)雜度也相當(dāng)較高。最后，利用上面在MapReduce平臺上給出的一系列新的改進(jìn)算法，實(shí)現(xiàn)了一個(gè)分布式中文文本聚類的系統(tǒng)，該系統(tǒng)能高效而穩(wěn)定的運(yùn)行海量文本聚類任務(wù)。在實(shí)際中文語料上的實(shí)驗(yàn)顯示，本文提出的方法能有效應(yīng)對大文本集的聚類問題，在一定范圍內(nèi)文本數(shù)大小和聚類時(shí)間成線性關(guān)系，并取得了比較滿意

4、的聚類質(zhì)量。
　　 在第二個(gè)場景中，本文結(jié)合向量空間模型的權(quán)重計(jì)算，提出了一個(gè)基于后綴樹的針對中文文本片段進(jìn)行聚類的方法。首先在文本預(yù)處理階段，利用中文分詞工具對中文文本片段集中的每一句挑選出有意義的詞語(一般是動詞或名詞)。在用線性算法構(gòu)建中文后綴樹之后，過濾掉具有太高文檔頻率的節(jié)點(diǎn)(短語)，并且利用本文所提出的一個(gè)公式計(jì)算節(jié)點(diǎn)(短語)的得分，選擇得分高的短語作為最終的文本特征。然后利用文本特征重新定義了中文文本片段之間的相似