結(jié)合語義的位置語言模型.pdf

1、在過去的四十年里,信息檢索領(lǐng)域出現(xiàn)了很多經(jīng)典的模型,諸如布爾模型、向量空間模型以及概率模型。隨著Pnoet和Corft首次提出基于統(tǒng)計語言模型的檢索模型,近十年來該模型得到了快速的發(fā)展。國內(nèi)外許多學(xué)者都加入了這個領(lǐng)域的研究,做了大量有意義的工作,因此又陸續(xù)的提出了隱馬爾科夫模型,統(tǒng)計翻譯模型,風(fēng)險最小化模型等。
　　但是大多數(shù)檢索模型都是基于詞在文檔中的頻率,而未考慮詞在文檔中的位置關(guān)系。例如這樣的兩篇文檔——包含了相同集合的詞并

2、且每個詞在兩篇文檔中的出現(xiàn)頻率都一樣,唯一不同的是這些詞在文檔中擺放的位置順序有所不同,那么對于大多數(shù)檢索模型這兩篇文檔的檢索得分是一樣的。但若第一篇文檔中查詢詞與查詢詞出現(xiàn)得更為鄰近,第二篇則出現(xiàn)得更為疏遠的話,那么顯然第一篇文檔理應(yīng)獲得更高的檢索得分,而大多數(shù)檢索模型都無法做到這點。
　　基于這點出發(fā),Lv和Zhai提出了一種位置語言模型,并成功的應(yīng)用于信息檢索,該模型最大的優(yōu)勢就是考慮了文檔中詞與詞的位置關(guān)系。但該模型依然還

3、存有缺陷:并未考慮到詞與詞之間的語義關(guān)系。因此本文在他們的工作基礎(chǔ)上進行了改進,提出了一種結(jié)合語義的位置語言模型。
　　具體來說本文的主要工作和創(chuàng)新點如下:
　　1)提出了一種新的技術(shù)——“平滑互信息”,來度量兩個詞之間的轉(zhuǎn)移概率。由于數(shù)據(jù)集中的詞存在稀疏性,因此直接使用互信息來度量兩個詞的轉(zhuǎn)移概率會造成大量的詞對無法計算。本文則對互信息采用了一種平滑技術(shù),使得數(shù)據(jù)集上幾乎任意兩個詞都可計算出平滑互信息,從而計算出兩個詞的轉(zhuǎn)

4、移概率。更為重要的是,這種平滑技術(shù)遵循了詞在數(shù)據(jù)集中的原始分布,并在附錄中給出了這種平滑技術(shù)的理論證明。
　　2)基于概率統(tǒng)計學(xué)以及互信息等相關(guān)理論,提出了一種結(jié)合語義的位置語言模型。本文給出了該模型中每個未知參數(shù)的估計思想以及估計方法,并且進一步對比了位置語言模型和結(jié)合語義的位置語言模型的異同點。最后證明了位置語言模型是本文模型的一個特例。
　　3)通過實驗表明,基于本文模型的檢索模型在檢索性能方面要優(yōu)于基于位置語言模型的