文本聚類及其在話題檢測中的應用研究.pdf

1、隨著網(wǎng)絡技術的高速發(fā)展，互聯(lián)網(wǎng)目前已經應用于各行各業(yè)，改變了人們工作和生活，同時也給我們帶來了前所未有的挑戰(zhàn)。由于網(wǎng)絡數(shù)據(jù)急劇增加，收集組織相關的信息變得越來越困難，如何從海量的信息中獲取所需信息，也成了當今急需解決的問題。話題檢測與跟蹤(Topic Detection and Tracking，TDT)就是為了解決該問題而提出的一項技術，旨在對新聞媒體等數(shù)據(jù)源進行話題檢測和跟蹤，并從中篩選重要信息。TDT中最重要的研究任務之一是話題檢

2、測，其主要作用就是把話題類似的事件聚類到一起以方便篩選，因此，對其進行深入的研究具有重要的現(xiàn)實意義。
　　本文主要的工作內容如下：
　?。?）K均值聚類算法是目前最常用的聚類算法之一，因其算法思想簡單、聚類速度較快得到了廣泛應用，但此算法隨意指定初始中心容易導致聚類陷入局部最優(yōu)解的缺陷，使得聚類效果變差。針對這一缺陷，本文提出了一個自適應聚類算法，能夠基于最大最小距離和誤差平方和(SSE)選取初始聚類中心并自動確定簇數(shù)以優(yōu)化

3、聚類效果。實驗結果表明該算法可以在不增加迭代次數(shù)的情況下得到更準確的聚類結果。
　?。?）在高速發(fā)展的互聯(lián)網(wǎng)時代，網(wǎng)絡上的各類新聞報道產生了數(shù)以萬計的信息，從這些新聞報道中抽取出有價值的信息就成了當今信息過濾技術中一個重要的研究方向。本文結合回顧式話題檢測技術及檢測過程中文本集是隨時會增加的這一特點，提出了一種話題特征選擇方法，結合詞性提取話題特征詞，并針對后期話題檢測逐步修正特征權重，以提高具有高話題辨別能力的特征詞的權重。實驗