基于XML用戶定義需求的WEB信息提取研究.pdf

1、隨著近些年互聯網的飛速發(fā)展，Internet已經發(fā)展成為一個龐大的發(fā)布和共享信息資源的平臺。但是如何從海量、無結構或半結構化的數據中快速、高效地獲取用戶所需的信息仍然是亟待解決的熱點問題，因此WEB信息提取技術應運而生。目前學者們已經進行了大量的研究工作，但現有的技術仍然存在諸多不足之處:提取方法過于專業(yè)，不僅增加了用戶語義理解的負擔，而且不便于用戶使用;在提取過程中難以及時獲取用戶的反饋，影響提取效果;提取內容越復雜，提取規(guī)則的健壯性

2、越差。
　　基于此，本文在對XML及相關標準和現有基于XML提取方法深入研究的基礎上，提出了一種基于XML用戶自定義需求的WEB信息提取方法。研究工作包括為以下幾方面內容:
　　(1)對待提取頁面進行處理。HTML頁面經過預處理過濾掉無關信息和代碼，轉換為格式規(guī)范的XML文檔，為使用戶清晰掌握頁面結構，將XML文檔解析生成可視化的DOM樹形式，在節(jié)點轉換的過程中，標記每個節(jié)點類型，并計算其路徑表達式，為樣本映射和生成提取規(guī)則

3、做準備。
　　(2)實現用戶的提取需求的獲取。研究通過定義目標描述待提取數據節(jié)點間的層次關系，并且以此作為提取信息輸出時的樣式結構。用戶標記的樣本則作為提取規(guī)則的生成依據，樣本按照映射規(guī)則以結構映射或內容映射的方式向目標結構映射，從而得到待提取數據的節(jié)點類型信息和位置信息。
　　(3)實現提取規(guī)則的構造。提取規(guī)則由一個或多個匹配目標結構每層節(jié)點的模板構成。模板根據目標結構根節(jié)點是否存在結構映射分別進行構造。根節(jié)點存在結構映射

4、，利用樣本結構映射的class屬性匹配全文同類別節(jié)點，并利用相對路徑覆蓋父子關系和祖先后代關系，遞歸生成每層節(jié)點模板。根節(jié)點不存在結構映射，通過其子節(jié)點獲取公共路徑作為模板匹配的起點，由于該起點位置是唯一的，因此提取僅為樣本數據。
　　最后通過對比實驗，驗證了本文提取方法的有效性，證明了該方法提取效果優(yōu)于現有的兩種方法。當提取內容結構復雜時，提取規(guī)則具有較好的健壯性。同時實現了該方法的原型系統(tǒng)，通過系統(tǒng)演示表明，用戶不僅能夠直觀的