個性化智能搜索引擎中查詢擴展技術研究.pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展,網(wǎng)絡信息量日益增加,面對海量的信息,人們對搜索引擎在查全率,查準率以及個性化方面的要求越來越高。查詢擴展是個性化智能搜索引擎中的關鍵技術,它在搜索引擎檢索用戶查詢前對用戶查詢進行擴展,有效地提高了搜索引擎的查全率和查準率。
　　首先,我們對輸入的查詢關鍵詞進行詞義上的擴展。利用同義詞詞林和知網(wǎng)(HowNet)知識庫進行詞語相似度計算,找到與用戶查詢關鍵詞相似度最大的詞語進行關鍵詞的同義詞、近義詞擴展,提高搜索

2、引擎的查全率和查準率。
　　其次,我們對用戶輸入的查詢問句進行語義上的擴展。這一功能的實現(xiàn)由兩部分組成,一方面進行問句關鍵詞的提取和擴展,對問句進行去冗余,中文分詞,詞性標注,去停用詞等一系列操作,提取出問句中包含用戶核心語義的關鍵詞或關鍵詞集合,然后對取得的關鍵詞進行關鍵詞擴展;另一方面利用問句答案常用詞對問句進行擴展,構建問句分類體系,對用戶查詢問句進行分類,同時利用問句答案語料庫,統(tǒng)計每種類型的問句答案中常會出現(xiàn)的詞,生成問

3、句答案常用詞詞表,然后根據(jù)用戶查詢問句所屬類別對問句進行答案常用詞擴展;最終利用這兩方面得到詞語對用戶查詢問句進行擴展。
　　然后,我們對用戶瀏覽行為進行分析,挖掘用戶興趣。我們收集用戶IE收藏夾中的網(wǎng)址和用戶瀏覽歷史記錄,讀取相應網(wǎng)頁,提取網(wǎng)頁正文,進行中文切詞,生成文檔集,然后使用基于TF-IDF的向量空間模型生成文檔集對應的向量集,對向量集進行聚類,然后對聚類結果進行分析,提取用戶興趣代表詞。
　　最后,將查詢擴展以及