一個WEB文本過濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上的信息呈爆炸式增長，文本信息過濾技術(shù)的研究取得了很大的進(jìn)展，Web文本信息過濾技術(shù)已成為一個研究熱點(diǎn)。本文在前期課題IPCG控制網(wǎng)關(guān)的研究基礎(chǔ)上，為了提高該計(jì)費(fèi)網(wǎng)關(guān)對公共信息網(wǎng)絡(luò)服務(wù)的綜合監(jiān)管能力，通過研究Linux下實(shí)時內(nèi)容過濾和文本過濾等相關(guān)技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個基于IPCG控制網(wǎng)關(guān)的Web文本信息過濾系統(tǒng)。 本文首先給出了系統(tǒng)總體框架以及設(shè)計(jì)目標(biāo)，并提出了一種分布式過濾系統(tǒng)的實(shí)現(xiàn)方式。系統(tǒng)由中央

2、預(yù)警模塊統(tǒng)一管理、在線過濾和離線過濾相結(jié)合。分布式數(shù)據(jù)庫的同步借鑒OSPF路由協(xié)議中數(shù)據(jù)庫同步算法，實(shí)現(xiàn)全網(wǎng)過濾信息的通用性。 實(shí)時在線過濾模塊，包括了數(shù)據(jù)包預(yù)處理和基于IP地址及關(guān)鍵詞過濾兩個子過程。數(shù)據(jù)包預(yù)處理過程主要針對Web頁面進(jìn)行數(shù)據(jù)分析和結(jié)構(gòu)分析，解析出正確的頁面數(shù)據(jù)信息；基于IP和基于關(guān)鍵詞的過濾過程，采用了哈希樹結(jié)構(gòu)來組織IP黑名單列表和緩存拼接策略存儲過濾內(nèi)容，關(guān)鍵詞過濾結(jié)合統(tǒng)計(jì)信息綜合判定。 離線過濾

3、模塊對正例類和不確定類做進(jìn)一步的離線分析，更新實(shí)時在線過濾模塊的IP黑名單列表和過濾關(guān)鍵詞列表。離線過濾采用改進(jìn)的特征詞提取算法和改進(jìn)的過濾策略。改進(jìn)的特征詞提取算法，綜合考慮了特征詞長、網(wǎng)頁結(jié)構(gòu)特征和詞匯的感情色彩等；改進(jìn)的過濾策略過濾初期采用SVM算法，中后期采用改進(jìn)的自適應(yīng)模板過濾法。模板的更新采用改進(jìn)的模板系數(shù)調(diào)整策略，并引入特征衰減因子來提高過濾的準(zhǔn)確率。 實(shí)驗(yàn)表明，本文提出的方法既能保證內(nèi)容過濾分析和數(shù)據(jù)報流通相互獨(dú)