Web數(shù)據(jù)抽取技術的研究.pdf

1、隨著當今世界互聯(lián)網的快速發(fā)展，Web已經發(fā)展成為一個巨大的和共享的信息空間，這些大量的數(shù)據(jù)可以為進一步的數(shù)據(jù)集成、數(shù)據(jù)挖掘等系統(tǒng)提供數(shù)據(jù)支持，Web數(shù)據(jù)抽取正是為了研究如何從網頁中將用戶可能感興趣的數(shù)據(jù)抽取出來。本文主要針對列表頁和內容頁兩種形式的網頁分別進行了研究。
　　列表頁是指包含一個或多個對象列表類型的網頁，至今已經有一些關于自動抽取列表頁數(shù)據(jù)的研究，但由于網頁的組織形式多變、模板不統(tǒng)一，存在以下問題：列表頁數(shù)據(jù)記錄的組織

2、方式具有多樣性，從而導致可能會將多條真正的數(shù)據(jù)記錄當作一條數(shù)據(jù)記錄抽取出來；已有的簡單樹匹配算法算法只考慮節(jié)點的標簽名，而實際的網頁中數(shù)據(jù)記錄的很多字段的標簽名是相同的，導致兩條數(shù)據(jù)記錄存在多個有著相同最高分的匹配。針對以上問題，本文在挖掘出數(shù)據(jù)區(qū)域之后，對構成數(shù)據(jù)區(qū)域的可能數(shù)據(jù)記錄節(jié)點進行進一步地分析，從而識別出真正的數(shù)據(jù)記錄，然后在已有的簡單樹匹配的基礎上加入了對節(jié)點所包含內容的考慮，提高了抽取數(shù)據(jù)字段的準確率。
　　無結構內

3、容頁側重對一個對象的具體描述，本文實現(xiàn)了一種基于分塊思想的內容頁正文信息抽取算法。在對網頁進行分塊的階段，采用基于DOM樹結構和頁面的視覺信息的算法，將網頁進行合理地分塊。得到合理的分塊結果之后，采用分類學習方法對訓練集進行學習，建立塊的空間特征到塊是否屬于正文的映射關系，實現(xiàn)正文塊的選取。對于結構型的內容頁，通過對兩個相似頁面的匹配，實現(xiàn)對象的屬性值數(shù)據(jù)的自動抽取。由于結構型內容頁的頁面四周會包含一些廣告等噪音數(shù)據(jù)，而相似頁面之間的廣