深度web采集系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展以及互聯(lián)網(wǎng)內(nèi)容的爆炸式增長，人們開始關(guān)注這些海量信息背后隱藏的內(nèi)容，也就是對web信息的數(shù)據(jù)挖掘，作為數(shù)據(jù)挖掘的基礎----數(shù)據(jù)采集，則直接決定了數(shù)據(jù)挖掘的質(zhì)量。然而，已有的信息采集系統(tǒng)，在某些方面還不夠完善，如對使用 AJAX技術(shù)的動態(tài)頁面支持較差，以及沒有有效應對服務器的反抓取措施等。
　　本文提出一種使用 JAVA語言開發(fā)的深度 web信息采集方案，該方案包括采集策略配置、一般/深度采集、自動代理技術(shù)，以

2、及采集內(nèi)容的索引和后續(xù)處理等一系列技術(shù)，初步實現(xiàn)了一個簡要的深度 web信息采集系統(tǒng)；并以百度搜索、網(wǎng)易新聞（包括評論）、京東商城作為測試網(wǎng)站，完成了該系統(tǒng)測試工作。
　　本系統(tǒng)基于現(xiàn)有的 web信息采集技術(shù)，首先將深度采集所涉及的各種策略和行為整合為對應的網(wǎng)絡模板，再基于開源的HtmlUnit模塊實現(xiàn)相關(guān)行為，完成深度采集，最終將得到的數(shù)據(jù)進行字段提取、構(gòu)建索引并寫入數(shù)據(jù)庫，完成整個采集過程。同時，系統(tǒng)提供了友好的用戶界面，方便

3、用戶創(chuàng)建、管理采集任務，以及實現(xiàn)對已采集內(nèi)容的檢索。
　　在介紹深度web信息采集系統(tǒng)設計的基礎上，本文詳細闡述了網(wǎng)站模板編輯/管理模塊、一般頁面下載模塊、深度頁面采集模塊、網(wǎng)頁去重模塊、自動代理模塊、網(wǎng)頁索引模塊以及字段抽取模塊的設計和實現(xiàn)。由于本系統(tǒng)使用Java語言開發(fā)，在保證界面友好的前提下，整個系統(tǒng)具有良好的跨平臺性，既可以在Windows下運行，也可以在Linux下運行。
　　該系統(tǒng)將輕量級無界面web測試引擎Ht