Web文本摘要技術(shù)的研究與應用.pdf

1、隨著萬維網(wǎng)的迅猛發(fā)展，用戶可在線獲得的信息量呈指數(shù)級增長。面對如此浩瀚的信息，人們迫切需要尋找一條能夠快速、準確獲得所需信息的途徑，因而出現(xiàn)了多種文本處理技術(shù)，包括信息檢索、文本分類、文本摘要等。 文本摘要技術(shù)因其既可以壓縮文本，減少用戶的瀏覽負擔，又可以為其他文本處理技術(shù)提供支持，逐漸成為國內(nèi)外研究的熱點。本文研究了以Web文本結(jié)構(gòu)為指導、以機械摘要為基本手段的自動摘要方法，并對其中涉及的文本結(jié)構(gòu)分析、關鍵詞提取、摘要生成等關

2、鍵技術(shù)進行了深入研究；然后對獲得的摘要進行聚類處理；最后，給出實驗結(jié)果并進行深入分析。本文主要的研究工作包括以下幾個方面： (1)本文首先概述了Web挖掘的定義和分類，以及Web文本挖掘產(chǎn)生的背景、基本概念和應用方向；同時闡述了自動文本摘要的發(fā)展歷史、類型、技術(shù)和評價方法。自動Web文本摘要是本文重點研究的內(nèi)容。 (2)本文在深入分析Web文本的結(jié)構(gòu)特征的基礎上，研究了在Java語言中運用正則表達式實現(xiàn)Web文本解析的關

3、鍵技術(shù)，并給出核心實現(xiàn)過程。 (3)本文研究了基于擴展的TF-IDF方法的摘要技術(shù)，其主要步驟包括：首先過濾停用詞，然后計算詞和句子的權(quán)重，再將句子按照權(quán)重高低排序，排在前面的若干句子按照在原文中的位置順序輸出即為該文章的摘要。經(jīng)過內(nèi)部評價，該技術(shù)獲得的摘要效果較好。 (4)本文深入研究了各種聚類方法，并對這些方法的優(yōu)缺點進行總結(jié)和比較。同時給出獲得摘要的具體實驗過程，最后對摘要采用經(jīng)典的平面分割聚類算法：K-means