基于文本的關鍵詞提取方法研究與實現(xiàn).pdf

1、由于數(shù)據(jù)信息的膨脹，文本檢索經(jīng)常涉及海量文檔。除學術論文包含關鍵詞外，大量的文檔沒有關鍵詞。面對海量文檔的檢索，如果沒有關鍵詞，幾乎無法處理這類檢索問題。因此，要進行海量文檔的信息檢索，必須首先解決對文檔進行準確高效的關鍵詞自動提取。關鍵詞自動提取是文本挖掘領域的一個分支，是文檔檢索、文檔比較、摘要生成、文檔分類和聚類等文本處理研究的基礎性工作。
　　本文研究的主要內(nèi)容就是如何從一篇沒有任何標引的文本中提取出能說明文章大意的主題詞

2、，即關鍵詞。傳統(tǒng)的人工的方法準確度很高，但效率低下，用計算機自動提取關鍵詞，效率很高，但要解決準確度不高的問題。本文的主要工作是研究一種效率高、準確度也高的文本關鍵詞提取方法。基于此，本文從關鍵詞提取的一般算法入手，借助《知網(wǎng)》，結合統(tǒng)計學方法，提出新的關鍵詞提取方法，使得提取的關鍵詞更加準確、效率更高。
　　主要工作如下：
　　（1）深入研究《知網(wǎng)》內(nèi)部結構，并對其程序化處理。
　?。?）提出新的詞語相似度計算方法。

3、在概念層次上，引入義原類相似度的概念及計算規(guī)則，結合詞語概念中主要義原類限制次要義原類和變系數(shù)法對各義原類加權計算，求得概念相似度；在詞語層次上，引入詞性相似度的概念，取不同詞性的最大值作為詞語相似度。實驗結果表明，與已有方法相比，該方法有效提高了詞語相似度的精確度和計算效率。
　?。?）采用中科院分詞軟件對文本分詞，對不同段落賦予不同段落因子，結合相應規(guī)則，用詞語相似度模塊處理測試文本分詞結果。
　　（4）分析現(xiàn)有關鍵詞提