基于改進HMM下自動摘要的生成.pdf

1、現(xiàn)代社會計算機技術不斷發(fā)展，電子化的信息和文本咨詢呈現(xiàn)爆炸性增長，網(wǎng)絡也早已經(jīng)成為人們獲取和傳遞信息最重要的方式。要在海量的信息中快速鎖定自己感興趣的內(nèi)容需要花費人們大量的時間，所以有效、簡易的信息檢索技術是當前互聯(lián)網(wǎng)時代最需要的。而自動摘要(Automatic Summarization)生成技術是對信息進行總結、濃縮的有力工具。為計算機編寫程序生成的自動摘要需要具有以下特點:(1)概括性的表達原文的主旨大意;(2)語言簡潔明了，篇幅

2、較短;(3)語義連貫通順，具有可理解性和可讀性。
　　本文分析了傳統(tǒng)的自動摘要生成方法，大多都是計算句子權重來提取相對比較重要的句子組成摘要，并沒有考慮前后句子間的關聯(lián)程度。所以本文將隱馬爾科夫模型(HMM)中的狀態(tài)轉移特性運用到自動摘要中，使得生成的摘要更能符合上下文語境。并且在這基礎上進一步改進傳統(tǒng)HMM模型，加入了觀察狀態(tài)的后向釋放概率，驗證結果表明生成的摘要準確率有明顯的提高。具體工作如下:
　　首先，文中采用的是以

3、web新聞文本作為對象來研究自動摘要的相關技術理論。由于web新聞網(wǎng)頁的特殊性，實現(xiàn)了正則表達式和行塊分布算法相結合的正文文本提取方法，并用最大正向匹配算法和TF-IDF詞頻統(tǒng)計算法對得到的正文文本進行分析處理。
　　然后，對傳統(tǒng)HMM進行深入研究，將隱藏狀態(tài)序列按照句子的重要程度依次定為“A”、“B”、“C”、“D”、“E”，結合句子的詞頻、位置、標題相關程度、線索詞四種句子特征進行HMM的建立并用于自動摘要的生成中。對比發(fā)現(xiàn)，

4、該模型生成的摘要比基于普通句子權重方法生成的摘要更能體現(xiàn)上下文語境的連貫性。
　　最后，將HMM模型根據(jù)web新聞文本的特點進行改進，使得觀察狀態(tài)的釋放不僅跟t時刻的隱藏狀態(tài)有關還與t+l時刻的隱藏狀態(tài)有關，進一步細化了摘要句的提取概率。其中模型訓練學習算法和Viterbi算法也根據(jù)模型的改進進行相應調(diào)整，實現(xiàn)基于改進HMM模型的自動摘要生成。實驗對比改進HMM模型與傳統(tǒng)HMM模型生成摘要的質量和運行時間，驗證了改進HMM的可行性