基于快速相似度的Web結(jié)構(gòu)挖掘的研究.pdf

1、隨著萬維網(wǎng)進入人們的生活,網(wǎng)絡已成為人們獲取信息和資源的主要來源之一。然而如何在具有海量、半結(jié)構(gòu)化或非結(jié)構(gòu)化、動態(tài)性和多態(tài)性等特征的信息中方便、迅速、準確地檢索到用戶真正需要的內(nèi)容己成為數(shù)據(jù)組織和Web相關(guān)領域?qū)＜覍W者關(guān)注的焦點。
　　 本文首先介紹Web數(shù)據(jù)挖掘的定義及其三個分類:Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘,研究這三類Web挖掘的方法和進行Web數(shù)據(jù)挖掘的挖掘流程。然后,介紹本文主要研究對象Web結(jié)構(gòu)挖掘,

2、其中以體現(xiàn)網(wǎng)頁結(jié)構(gòu)關(guān)系的經(jīng)典算法PageRank算法為研究重點,PageRank算法單純描述鏈接之間的關(guān)系,沒有分析網(wǎng)頁中的內(nèi)容和用戶查詢主題的相似度,容易發(fā)生主題漂移現(xiàn)象,降低搜索準確率。針對PageRank的缺點本文從以下兩方面進行改進：⑴以增強搜索準確度為目標,引入文本相似度排序因子。將快速的漢明距離相似度文本相似度方法與PageRank算法結(jié)合,以提高與搜索主題相似頁面的PageRank值,更精確地描述鏈接之間的關(guān)系,提高檢索準

3、確度,減少主題漂移現(xiàn)象；⑵為增強搜索查全率,本文增加檢索詞的同義詞搜索,為此需改進漢明距離相似度算法,在計算過程中增加同義詞的匹配,并且嚴格區(qū)分檢索詞和檢索詞的同義詞,使其在相似度計算上有不同的結(jié)果。結(jié)合上述兩點,本文在PageRank算法的基礎上提出快速相似度PageRank算法作為網(wǎng)頁排序標準。最后,利用Lucene和Nutch爬蟲技術(shù)實現(xiàn)以快速相似度PageRank算法為排序方法的搜索引擎。利用從互聯(lián)網(wǎng)中抓取的大量網(wǎng)頁,對快速相似