基于規(guī)則的論壇爬取與抽取一體化.pdf

1、近些年來，論壇、博客和微博等相繼出現在互聯網應用中，并逐漸成為人們發(fā)布互聯網信息的主要方式。其中，論壇已成為信息發(fā)布、共享和傳播的重要平臺。論壇的內容由普通用戶創(chuàng)建和發(fā)布，對于輿情分析、互聯網廣告推薦等應用具有重要意義。
　　 數據爬取(Data Crawler)是數據分析和應用的前提。傳統(tǒng)的爬取技術以頁面為單位爬取網頁，并將數據的處理與分析放在網頁爬取之后。這種方式不適合論壇數據的爬取。這主要是有以下兩方面的原因：首先，論壇數

2、據具有較強的結構性。傳統(tǒng)的爬蟲以單個頁面為單位進行數據的爬取，忽略了論壇頁面的內在結構和頁面間的關聯。其次，數據大都隱藏于網絡頁面的結構中。傳統(tǒng)的爬蟲保存頁面的完整信息，不對頁面進行數據處理。
　　 因此，本文提出了一種新的數據爬取和信息抽取一體化的論壇數據爬取方法，并在該方法的基礎上設計與實現了InForCE系統(tǒng)。該系統(tǒng)分析論壇導航頁面的結構和內容，以此進行帖子頁面爬取任務的調度，并按照論壇內容對爬取的數據進行組織與管理。In

3、ForCE系統(tǒng)由爬蟲、HTML解析器、鏈接池、學習器和規(guī)則庫組成。爬蟲用于爬取網頁。HTML解析器將HTML頁面轉化為用于信息抽取的XHTML頁面。鏈接池用于判斷系統(tǒng)的調度策略。規(guī)則學習器和規(guī)則庫用于頁面的信息抽取。
　　 本文的主要貢獻總結如下：
　　 1.將頁面爬取、結構分析和內容抽取相結合，并根據信息單元(而不是頁面)對爬取任務進行調度，對爬取的數據進行管理。信息單元是一個帖子的所有信息。論壇頁面類型包括導航頁面和

4、帖子頁面。導航頁面以列表的形式展示了所有討論的主題。帖子頁面顯示主題和關于主題的跟帖。導航頁面的內容決定帖子頁面的爬取調度策略，并將同一個帖子的所有內容組織在同一個文檔中。
　　 2.提出了一種基于XML和XPath模式的描述性模式映射規(guī)則，并將其用于論壇數據的抽取與轉化。XPath模式表示一組XPath的特征。它被用于定義模式映射規(guī)則。模式映射規(guī)則表示從源文檔(通常為XHTML格式)到目標文檔(通常為XML格式)的數據映射關系

5、。
　　 3.使用規(guī)則學習器簡化信息抽取的過程。通過機器學習的方式獲取模式映射規(guī)則，并將其自動轉化為XSLT，從而實現從論壇頁面到最終結果的轉換。規(guī)則的自動轉化使不具有XSLT知識的用戶也能夠快速完成數據的抽取任務。
　　 綜上所述，我們分析了論壇數據獲取過程中存在的問題，并針對論壇的數據特征設計了InForCE系統(tǒng)。本文以籬笆論壇為實驗，定義數據抽取模型，學習模式映射規(guī)則，并進行論壇數據的爬取和抽取。目前，InForC