中文網頁自動分類的研究與實現.pdf

1、隨著在線中文網頁的迅猛增加,自動分類已經成為有效組織和管理在線中文網頁的關鍵技術.本文研究的中文網頁自動分類系統(tǒng),以非受限領域的大規(guī)模中文網頁集合作為研究對象,集成了網頁處理、中文處理和文本分類技術,是文本自動分類技術在中文領域的一個具體的應用,因為中文處理與西文處理相比具有本質的不同,因此本文的研究具有非常重要的現實意義.系統(tǒng)涉及的關鍵技術包括兩個方面,一方面是與中文網頁處理有關的,另一方面則與文本分類有關.中文網頁處理涉及兩個關鍵問

2、題,即網頁預處理和中文特征詞的抽取.文本分類的關鍵技術為文本特征表示、特征選擇和分類算法.本文在對系統(tǒng)關鍵技術進行深入地比較研究的基礎上,提出針對關鍵過程的具體解決方法,最后給出系統(tǒng)的整體設計和實現方案.對于網頁預處理,本文通過對網頁標記分級,對不同標記采用不同的策略進行處理,將網頁轉換為一個純文本,并保存加權標記文本塊,為進一步的處理作準備.中文特征詞抽取則是在網頁預處理的基礎上,根據分類系統(tǒng)網頁表示模型只對詞頻敏感的特點,設計實現了

3、一個基于多步過濾漢字結合模式的無詞典特征詞抽取方法,并通過實驗同傳統(tǒng)的詞典分詞法進行了比較,結果表明,這種方法對于中高頻詞條的識別率接近于詞典分詞法,而分詞速度上則遠遠高于詞典分詞法.對于文本表示,本文基于向量空間模型將網頁表示為以詞項權重為項的向量,并采用TFC公式進行權重計算.對于特征選擇,選擇MI作為評價函數,并對函數進行了相應的改進,從而提高了MI的評價可靠性.對于分類算法,本文集成了向量空間模型架構下分類準確度最好的KNN算法