基于增量學習的主題爬行策略研究.pdf

1、自Internet誕生，搜索引擎逐漸成為人們獲取信息的主要方式。然而，隨著互聯(lián)網(wǎng)的高速發(fā)展和網(wǎng)絡用戶需求的不斷提高，傳統(tǒng)搜索引擎如Alta Visa、Google、Yahoo等越來越呈現(xiàn)出一些局限性，而主題搜索成為解決通用搜索引擎問題的一個最為關鍵的研究熱點。在主題搜索中，主題爬蟲在Web上抓取與用戶主題興趣相關的網(wǎng)頁，它的優(yōu)點是盡量檢索與主題相關的網(wǎng)頁，同時盡可能少的遍歷與主題不相關的網(wǎng)頁，可以有效減小搜集的范圍，提高資源的利用率。<

2、br>　　 考慮到實際互聯(lián)網(wǎng)上Web網(wǎng)頁是不斷更新變化的。在一段時間內(nèi)，有的網(wǎng)頁出現(xiàn)，有的網(wǎng)頁消失。作者通過深入研究主題搜索的原理及特點，并結(jié)合實際web網(wǎng)頁更新變化，利用形式概念分析理論知識，將增量構(gòu)建概念格的思想應用到主題搜索中，使主題爬蟲具備一定的學習能力，提出基于增量學習的主題爬行策略。
　　 本文主要研究內(nèi)容如下：
　　 1、把增量學習的思想應用到主題爬行中。鑒于形式概念分析在主題搜索中的可行性，把從概念格轉(zhuǎn)

3、換來的背景圖作為主體爬蟲的知識背景來指導爬行是一個很好的創(chuàng)新。根據(jù)主題爬蟲的搜索結(jié)果進行增量學習，即通過增加主題的網(wǎng)頁和刪除主題不相關網(wǎng)頁兩方面進行學習來更新背景圖，以便及時地反映Web網(wǎng)頁的變化情況。
　　 2、增加主題網(wǎng)頁相關的概念來更新概念背景圖。根據(jù)主題爬蟲的搜索結(jié)果，選取主題相關網(wǎng)頁，利用增量概念生產(chǎn)算法得到該主題相關網(wǎng)頁的增量概念，把得到增量概念增加到背景圖中。
　　 3、刪除主題不相關網(wǎng)頁的概念來更新概念背