搜索引擎中基于XML的網(wǎng)頁預處理方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術的迅速發(fā)展，在線中文網(wǎng)頁的數(shù)量迅猛增加，互聯(lián)網(wǎng)上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取其所需要的知識和信息。然而互聯(lián)網(wǎng)上的信息存在以下問題：網(wǎng)頁信息中通常伴隨著一些與用戶需求無關的噪音內容，例如版權聲明信息、廣告及導航信息等，網(wǎng)頁本身缺乏必要的描述性信息，網(wǎng)頁之間通過復雜的超鏈接聯(lián)系起來等，這些問題影響了搜索引擎提供服務的質量。
　　在搜索引擎中,預處理模塊的任務是凈化網(wǎng)頁內

2、容、提取網(wǎng)頁元數(shù)據(jù)、提取網(wǎng)頁正文內容等。凈化網(wǎng)頁的目的是去除網(wǎng)頁中的噪音內容，從而實現(xiàn)噪音信息和正文內容的分離。網(wǎng)頁元數(shù)據(jù)指的是網(wǎng)頁的描述性信息，網(wǎng)頁元數(shù)據(jù)的合理使用有助于搜索引擎對網(wǎng)頁信息的處理，為搜索引擎提供擴展查詢的手段，使得搜索引擎在信息檢索過程中不僅僅依靠關鍵詞的匹配。網(wǎng)頁標識、網(wǎng)頁類型、關鍵詞、摘要、更新日期等元數(shù)據(jù)的使用，可以為用戶提供更加全面的網(wǎng)頁信息，有助于提高查詢的準確率。正文內容是網(wǎng)頁的主體，它包括網(wǎng)頁的主題內容和

3、相關超鏈接，正文內容的提取是預處理模塊的主要任務。
　　本文以預處理模塊中網(wǎng)頁的預處理過程為線索，首先總結了當前預處理模塊中的主要問題的解決方法。然后分析了網(wǎng)頁類型的判斷、網(wǎng)頁標題的提取，網(wǎng)頁摘要的生成，相關超鏈接的提取，預處理后網(wǎng)頁的存儲等內容。對預處理模塊需要完成的工作進行了深入的研究。在傳統(tǒng)的網(wǎng)頁預處理方法的基礎上，提出了網(wǎng)頁的文檔對象模型，通過模型表示網(wǎng)頁中的元數(shù)據(jù)和正文內容。
　　實驗結果表明，在對網(wǎng)頁文檔建立索引