文本相似度的研究與應用.pdf

1、隨著互聯(lián)網(wǎng)對生活的影響不斷增加，人們面臨著越來越?jīng)坝康木W(wǎng)絡數(shù)據(jù)洪流的沖擊，這股數(shù)據(jù)洪流中占比最大的就是文本數(shù)據(jù)。如何處理海量文本數(shù)據(jù)，是人們亟待解決的一個問題。在文本挖掘領域，文本相似度計算技術是聯(lián)系上層應用系統(tǒng)和下層文本表示模型、分詞系統(tǒng)等基礎技術的紐帶。目前，由于文本的多樣性和復雜性，還沒有一種對所有應用場景都適用的文本相似度算法。因此，如何針對應用場景和應用數(shù)據(jù)選擇并改進文本相似度計算，是一項很有意義和實用價值的研究。本文分別研究

2、了長、短文本的相似度算法，針對現(xiàn)有算法的不足提出了改進和創(chuàng)新方法。本文還實現(xiàn)了教改項目-“信息安全競賽平臺”的試題庫管理和查重模塊，針對試題庫系統(tǒng)這個應用背景，對本文提出的文本相似度算法進行了適當?shù)恼{整和優(yōu)化，達到了較好的應用效果。
　　在研究長文本相似度算法的基礎上，我們發(fā)現(xiàn)目前的長文本所用的向量空間模型(VSM)有以下缺點:1.忽略了特征詞的語義關聯(lián)。2.特征的加權算法無法充分反映特征詞的表達能力。本文針對這些缺點，提出了一個

3、基于關鍵詞的文本向量空間模型(關鍵詞VSM)，該模型使用的關鍵詞集是結合了文本的結構特征、語義特征和統(tǒng)計特征挑選出來的，能很好的表達文本的內(nèi)容。用關鍵詞VSM模型對文本進行表示，可以將傳統(tǒng)VSM模型的維度大大降低，并提高特征詞的表達能力，改進算法的效率和準度。在關鍵詞VSM模型基礎上，本文將LDA主題模型引入到文本相似度計算中，從文本表層和深層語義主題兩個角度去綜合判斷文本的相似度，提升算法的準確率。
　　在深入研究短文本相似度算

4、法之后，針對目前短文本相似度算法使用的人工語義知識庫的局限性，本文提出了基于維基百科知識庫作為語義知識庫的計算方法。研究現(xiàn)有的詞語相關度算法后，提出了結合維基百科鏈接、分類、文檔三種特征信息的詞匯相關度計算方法。在運用此方法基礎上，通過最大匹配序列算法求得兩個短文本的最大語義相關度匹配序列，進行短文本語義相關度的計算。將短文本表層詞語詞序特征和深層語義特征結合，改進短文本的相似度計算質量。
　　本文實驗結果證實了本文提出的算法相對