垂直搜索引擎中主題爬行技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，傳統(tǒng)的通用搜索引擎逐漸暴露出了覆蓋率低、結(jié)果不準(zhǔn)確等弊端。為了滿足用戶精確搜索的需求，垂直搜索引擎應(yīng)運(yùn)而生。它利用主題爬行技術(shù)來(lái)搜集Web中與某個(gè)領(lǐng)域(主題)相關(guān)的網(wǎng)頁(yè)，并提供面向該領(lǐng)域的檢索服務(wù)。無(wú)疑，主題爬行技術(shù)是垂直搜索引擎的核心部分，直接影響著垂直搜索引擎的性能。本文重點(diǎn)研究了主題描述、候選鏈接優(yōu)先級(jí)的預(yù)測(cè)和自適應(yīng)的爬行策略等主題爬行中的關(guān)鍵技術(shù)，主要內(nèi)容包括：
　　 (1)提出了一種基于維基百

2、科的主題描述方法。對(duì)主題進(jìn)行清晰、準(zhǔn)確的描述是主題爬行器的基礎(chǔ)，主題的描述方式也決定了主題相關(guān)性的計(jì)算方式。現(xiàn)有的算法多采用特征集來(lái)描述主題，并通過(guò)特征詞的機(jī)械匹配來(lái)計(jì)算主題的相關(guān)性，它不僅忽視了特征詞之間的語(yǔ)義關(guān)系，而且使得特征詞分布過(guò)于稀疏，降低了對(duì)主題的描述性；也有一些方法引入了本體或語(yǔ)義詞典來(lái)分析詞語(yǔ)之間的語(yǔ)義關(guān)聯(lián)，但現(xiàn)有的本體很少，而語(yǔ)義詞典多存在著開(kāi)放性差、詞匯量有限、更新不及時(shí)的缺點(diǎn)。針對(duì)這些不足，本文將易于獲取、更新及時(shí)

3、、描述客觀的維基百科作為背景知識(shí)，根據(jù)分類樹(shù)來(lái)構(gòu)建主題向量空間，并將主題描述文檔映射成向量來(lái)描述主題，并且在相關(guān)性計(jì)算時(shí)引入了語(yǔ)義分析；同時(shí)，利用消歧參照表來(lái)解決詞語(yǔ)映射到概念的過(guò)程中映射不符合實(shí)際或一詞多義的問(wèn)題。實(shí)驗(yàn)表明，該方法比傳統(tǒng)方法在信息量總和及查準(zhǔn)率上均有顯著提高。
　　 (2)提出了一種基于網(wǎng)頁(yè)分塊的候選鏈接優(yōu)先級(jí)的預(yù)測(cè)方法。候選鏈接的優(yōu)先級(jí)預(yù)測(cè)決定了主題爬行的方向和結(jié)果，現(xiàn)有算法多根據(jù)頁(yè)面內(nèi)容、錨文本和錨文本上下

4、文來(lái)預(yù)測(cè)候選鏈接的優(yōu)先級(jí)，但頁(yè)面中含有廣告等噪音數(shù)據(jù)，錨文本上下文難以界定，錨文本包含的信息量也很有限。因此，本文首先基于深度優(yōu)先遍歷對(duì)網(wǎng)頁(yè)進(jìn)行分塊，過(guò)濾掉了部分噪音節(jié)點(diǎn)，再?gòu)木W(wǎng)頁(yè)內(nèi)容文本、塊文本和錨文本三個(gè)方面綜合預(yù)測(cè)候選鏈接的優(yōu)先級(jí)。實(shí)驗(yàn)表明，引入網(wǎng)頁(yè)分塊有效改善了主題爬行的性能。
　　 (3)提出了基于信息增益和基于信息量總和比率的兩種自適應(yīng)方法。由于根據(jù)分類樹(shù)的概念層次體系所獲得的主題初始描述往往不夠客觀和準(zhǔn)確，所以本文

5、在每爬行一定數(shù)量的網(wǎng)頁(yè)后，根據(jù)兩種自適應(yīng)方法對(duì)已爬行的所有網(wǎng)頁(yè)自動(dòng)學(xué)習(xí)并反饋更新主題向量空間中每個(gè)概念的權(quán)重，從而完善主題描述。實(shí)驗(yàn)表明，兩者都實(shí)現(xiàn)了主題的增量爬行；引入基于信息增益的自適應(yīng)方法后爬取的網(wǎng)頁(yè)比引入基于信息量總和比率的自適應(yīng)方法后爬取的網(wǎng)頁(yè)與主題更加相關(guān)，而基于信息量總和比率的自適應(yīng)方法在總體上則比基于信息增益的自適應(yīng)方法有更高的穩(wěn)定性。
　　 最后，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)主題爬行的原型系統(tǒng)，并利用該原型系統(tǒng)進(jìn)行了一系列