Deep Web數(shù)據(jù)抽取及集成技術(shù)研究.pdf

1、隨著萬維網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)的結(jié)合，網(wǎng)絡(luò)開始迅速的深化。大量的信息都隱藏在Web數(shù)據(jù)庫中，用戶通過查詢可以動態(tài)的獲取這些信息，學者們將這類資源稱為Deep Web。由于Deep Web資源分布在各個Deep Web站點，使用起來較為不便，因此，面向Deep Web的數(shù)據(jù)集成系統(tǒng)便應(yīng)運而生。 本文對Deep Web領(lǐng)域的數(shù)據(jù)抽取及集成技術(shù)進行了研究，并提出了相關(guān)的算法和解決方案，最后設(shè)計了一個面向Deep Web的搜索引擎原型系統(tǒng)。

2、本文的主要研究工作如下： (1)將Web數(shù)據(jù)對象從查詢結(jié)果頁面中抽取出來是Deep Web數(shù)據(jù)集成的第一步，本文基于文檔對象模型，通過頁面預處理、抽取候選Web數(shù)據(jù)對象集、去除非Web數(shù)據(jù)對象三個階段提出了一種自動抽出Web數(shù)據(jù)對象的方法。 (2)提出了一種對模式異構(gòu)的Web數(shù)據(jù)對象進行集成的方法。該方法以向量空間模型為基礎(chǔ)，以聚類為手段對來自不同Deep Web站點的異構(gòu)Web數(shù)據(jù)對象進行了集成，并以區(qū)分度為基礎(chǔ)，以相

3、似度為度量手段檢測出了重復的Web數(shù)據(jù)對象，實現(xiàn)了Web數(shù)據(jù)對象的去重。 (3)分析了海量數(shù)據(jù)的組織方法對查詢響應(yīng)速度的影響，在此基礎(chǔ)上提出了一種對海量Web數(shù)據(jù)對象進行組織的方法。該方法通過遞增聚類使Web數(shù)據(jù)對象根據(jù)自身的特征自然的聚集在一起，形成一個科學的類別層次，為查詢的快速響應(yīng)奠定基礎(chǔ)。 (4)在上述研究的基礎(chǔ)上設(shè)計了一個面向Deep Web的搜索引擎原型系統(tǒng)。 本文還對文中提出的方法和技術(shù)進行了實驗，