基于Tag-LDA語(yǔ)義分析的全文檢索方法研究.pdf

1、21世紀(jì)是一個(gè)以信息化、數(shù)字化和網(wǎng)絡(luò)化為主要特點(diǎn)的時(shí)代，網(wǎng)絡(luò)上的文本數(shù)據(jù)正在以一種前所未有的方式增長(zhǎng)，如何在這信息海洋中查找到用戶(hù)需要的信息，成為了信息檢索技術(shù)亟待解決的難題。傳統(tǒng)的信息檢索系統(tǒng)根據(jù)用戶(hù)提交的關(guān)鍵詞對(duì)文檔進(jìn)行簡(jiǎn)單的匹配，這類(lèi)方法獲得的檢索結(jié)果已經(jīng)不能滿(mǎn)足用戶(hù)的要求了，原因有兩點(diǎn):第一，沒(méi)有挖掘出文本深層次的語(yǔ)義信息;第二，查詢(xún)關(guān)鍵詞過(guò)少，無(wú)法表達(dá)出用戶(hù)的真正意圖。本文基于以上兩點(diǎn)不足，提出了改進(jìn)策略，利用標(biāo)簽主題模型挖掘

2、文本語(yǔ)義和對(duì)查詢(xún)語(yǔ)句進(jìn)行擴(kuò)展，具體如下:
　　本文第三章提出一種基于向量空間特征轉(zhuǎn)換的文本檢索方法。由于基于知識(shí)庫(kù)的語(yǔ)義指紋信息和通過(guò)標(biāo)簽主題模型挖掘出的標(biāo)簽語(yǔ)義知識(shí)是兩種不同的表征方式，前者是顯式的語(yǔ)義知識(shí)，后者是潛在的語(yǔ)義知識(shí)，雖然都是對(duì)文本語(yǔ)義特征的描述，但是它們表征方式不一樣，不能直接融合，在這里我們引入向量空間作為橋梁，將語(yǔ)義指紋知識(shí)通過(guò)向量空間轉(zhuǎn)換到標(biāo)簽主題模型空間中，然后獲得能夠兼容于標(biāo)簽主題空間的語(yǔ)義指紋信息，同時(shí)

3、也用相關(guān)定理證明轉(zhuǎn)換過(guò)程的合理性。將這個(gè)可兼容的語(yǔ)義指紋信息融入到標(biāo)簽主題模型中，得到新的主題模型語(yǔ)義標(biāo)簽主題模型。融合了語(yǔ)義指紋信息的語(yǔ)義標(biāo)簽主題模型對(duì)標(biāo)簽的語(yǔ)義信息具有一定的消歧作用，因此能夠更有效地挖掘文本更準(zhǔn)確的語(yǔ)義信息，從而提高檢索效率。
　　本文第四章提出一種基于初次檢索結(jié)果查詢(xún)擴(kuò)展的文檔重排方法，該方法利用標(biāo)簽主題模型來(lái)抽取目標(biāo)文檔的概念語(yǔ)義標(biāo)簽，利用初始檢索文檔的相關(guān)標(biāo)簽分布來(lái)表征查詢(xún)主題。第一，對(duì)初始檢索結(jié)果進(jìn)行

4、標(biāo)簽主題建模，得到“文檔一標(biāo)簽”概率矩陣;第二，將前k篇文檔視為與用戶(hù)查詢(xún)相關(guān)，將這k篇文檔的標(biāo)簽分布作為一個(gè)初始標(biāo)簽分布集合;第三，利用維基百科上生成的概念關(guān)系圖，過(guò)濾掉與查詢(xún)主題無(wú)關(guān)的標(biāo)簽，得到一個(gè)新的標(biāo)簽分布集合來(lái)表征查詢(xún)主題;最后，基于標(biāo)簽分布來(lái)計(jì)算查詢(xún)主題與文檔之間一個(gè)新的相關(guān)度值，再融合初次檢索結(jié)果，得到最終的文檔排序結(jié)果。該方法抽取了初次檢索出與用戶(hù)查詢(xún)相關(guān)文檔中的相關(guān)成分，過(guò)濾掉了噪音，更能表征查詢(xún)主題的語(yǔ)義信息，從而提