基于URL模式的網(wǎng)頁(yè)分類(lèi)算法研究.pdf

1、隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，如何高效地組織和管理海量的網(wǎng)頁(yè)信息越來(lái)越成為棘手的問(wèn)題。網(wǎng)頁(yè)分類(lèi)研究作為Web挖掘的一個(gè)基礎(chǔ)步驟，在搜索引擎、主題爬蟲(chóng)和維護(hù)目錄式網(wǎng)站等許多應(yīng)用中均發(fā)揮著重要作用。
　　基于內(nèi)容的網(wǎng)頁(yè)分類(lèi)技術(shù)大多從網(wǎng)頁(yè)內(nèi)容、超鏈接結(jié)構(gòu)和鄰居節(jié)點(diǎn)等信息中抽取出大量特征，然后使用有監(jiān)督學(xué)習(xí)方法進(jìn)行分類(lèi)。而只基于URL的網(wǎng)頁(yè)分類(lèi)技術(shù)則僅基于網(wǎng)頁(yè)URL信息進(jìn)行分類(lèi)。雖然網(wǎng)頁(yè)分類(lèi)技術(shù)已經(jīng)被大量研究過(guò)，但是已有方法過(guò)于依賴(lài)特

2、征工程，訓(xùn)練所需時(shí)間代價(jià)較大，而且不能較好地處理數(shù)據(jù)中的噪音問(wèn)題。另外，現(xiàn)有方法未考慮增量學(xué)習(xí)情形，該問(wèn)題在訓(xùn)練數(shù)據(jù)流式產(chǎn)生的情景中尤為突出。
　　在本文中，我們引入模式樹(shù)的思想并加以改進(jìn)，提出了UPCA算法。根據(jù)特定類(lèi)型網(wǎng)頁(yè)的訓(xùn)練集，通過(guò)模式樹(shù)的構(gòu)建和模式規(guī)則的提取，我們可以獲得該類(lèi)型網(wǎng)頁(yè)URL所遵循的通用模式庫(kù)。模式庫(kù)可以代表對(duì)應(yīng)類(lèi)型網(wǎng)頁(yè)URL集合的結(jié)構(gòu)特點(diǎn)。對(duì)于新來(lái)的網(wǎng)頁(yè)，我們只需將網(wǎng)頁(yè)URL和已得到的模式庫(kù)匹配來(lái)判斷網(wǎng)頁(yè)是