微博短文本檢索關鍵技術研究.pdf

1、微博是通過某個社會媒體分享的不超過140個字符的短文本消息,比如Twitter或者新浪微博。微博能夠吸引上億用戶的使用,是因為用戶通過關注自己感興趣的人可以獲得實時的消息。經(jīng)過近五年的快速發(fā)展,微博已經(jīng)成為社會媒體的典型代表,更是人們不可或缺的重要實時信息來源。在本文,微博特指通過Twitter分享的微博。
　　微博數(shù)據(jù)劇烈增長,從大量的微博信息中幫助用戶更加準確地找到他們感興趣的微博就成了微博檢索的重要任務。由于微博文本短小,書

2、寫隨意,噪聲大,而且實時性強的特點,傳統(tǒng)信息檢索技術在海量微博檢索中遇到巨大挑戰(zhàn)。為了解決這一問題,本文針對微博檢索任務的幾個關鍵技術進行了研究。本文主要分成以下四個方面進行研究:
　　1.基于熱點時間的文檔語言模型建模。在本章中,首先我們調(diào)研了兩類典型的基于時間的語言模型,其基本假設是文檔越新鮮,文檔越重要。然后對微博真實查詢的相關文檔的時間分布進行了分析,證實了傳統(tǒng)的假設并不總是成立的。最后對查詢的熱點時間進行了定義,并建立了

3、基于熱點時間的語言模型方法用于微博檢索,并和傳統(tǒng)方法進行了實驗性對比。
　　2.融入時間信息的查詢建模。在本章中我們利用時間特性(實時性,時間變化)對用戶查詢進行擴展,提高檢索精度。具體的講,探索了三種查詢擴展方法。一種是基于實時性的查詢擴展,能夠?qū)崟r性的查詢提供候選詞。第二種是針對相關文檔時間分布波峰離查詢時間點較遠或者出現(xiàn)多波峰的情況,此方法獲取原始查詢和擴展查詢的時間屬性,基于這兩個分布的最小KL-分散度選擇好的擴展詞。第

4、三種方法利用對文檔年齡進行高斯分布建模巧妙的將前兩種查詢擴展方法進行了融合,是一種自適應權重的有效方法。
　　3.基于參考文檔模型的微博文本檢索。在本章中我們通過對微博短文本模型建模遇到的潛在困難進行分析的基礎上,引入?yún)⒖嘉臋n模型對微博文本進行擴展,提高微博文本的模型估計精度,探究了文檔信息增益對檢索性能的影響。進一步利用參考文檔同時對查詢和文檔進行偽反饋。實驗結果表明,對查詢和文檔同時進行偽反饋的性能是最好的,遠遠好于傳統(tǒng)反饋方