垂直搜索引擎中主題網絡爬蟲算法研究.pdf

1、隨著互聯(lián)網絡技術的迅猛發(fā)展，網絡資源呈指數(shù)形式增長，面向整個網絡信息的通用搜索引擎已經不能滿足不同領域的用戶精確的檢索需求，在這種背景下，垂直搜索引擎應運而生。
　　主題網絡爬蟲是垂直搜索引擎的核心部分，其爬行質量和效率直接決定了垂直搜索引擎的性能。與通用網絡爬蟲不同的是，主題網絡爬蟲只抓取與特定主題相關的網頁同時過濾無關網頁，具有專業(yè)，精確，深入的特點。傳統(tǒng)的主題網絡爬蟲通過分析網頁的全部內容判定候選鏈接的相關性，現(xiàn)今的網頁內容

2、往往包含多個不同的主題，對網頁的全部內容進行計算很可能由于網頁中的噪音而影響結果的判定。
　　本文對主題網絡爬蟲的相關性判定算法和搜索策略進行了研究，針對傳統(tǒng)的主題網絡爬蟲的不足提出一種基于候選鏈接主題邊緣文本的主題爬蟲，本文的主要研究工作如下：
　　首先，利用杜威十進分類法的特性繪制二維坐標提取候選鏈接主題邊緣文本。杜威十進分類法是一種層次分類法，由于詞的多義性，每個主題關鍵詞對應唯一或者多個的杜威分類號碼，根據(jù)分類號碼可

3、以判定關鍵詞是否是同一主題或者相近主題。候選鏈接主題邊緣文本是一組與錨文本關鍵詞詞義相近的關鍵詞，主要包括錨文本關鍵詞和網頁正文關鍵詞兩個部分。該主題爬蟲利用錨文本和與錨文本主題詞義相近網頁正文判定候選鏈接的相關性，避免噪音對判定結果的影響。
　　其次，構建樸素貝葉斯文本文本分類器分析候選鏈接主題邊緣文本，指導主題網絡爬蟲爬行。樸素貝葉斯分類算法是目前為止文本分類中最有效的分類算法。錨文本關鍵詞更能代表候選鏈接的主題含義，對錨文本