協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究.pdf

1、隨著Internet的迅速普及，電子郵件已經(jīng)成為人們進(jìn)行信息交流的重要手段之一，它極大地方便了人們的工作、學(xué)習(xí)和生活。但近年來，垃圾郵件的泛濫愈演愈烈，對(duì)Internet的良性發(fā)展造成了很大危害，如何有效地抑制垃圾郵件的傳播已經(jīng)成為相關(guān)領(lǐng)域的重要研究課題。
　　 本文從國內(nèi)垃圾郵件泛濫的現(xiàn)狀出發(fā)，以垃圾郵件過濾中的關(guān)鍵技術(shù)為研究?jī)?nèi)容，重點(diǎn)對(duì)中文郵件特征項(xiàng)的構(gòu)造、基于支持向量機(jī)郵件分類算法和基于P2P網(wǎng)絡(luò)的垃圾郵件樣本共享策略進(jìn)行

2、了研究：
　　 1.為了解決中文垃圾郵件過濾中分詞這一瓶頸問題，本文提出一種交叉N元組特征項(xiàng)構(gòu)造策略，可以避免中文分詞不準(zhǔn)確對(duì)過濾器性能的影響，同時(shí)在一定程度上克服了傳統(tǒng)特征項(xiàng)提取中特征項(xiàng)獨(dú)立性假設(shè)與實(shí)際情況不符的缺陷。為了驗(yàn)證該策略的有效性，使用樸素貝葉斯分類器在開放中文郵件語料庫上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)證明該策略具有較強(qiáng)的抗干擾性，可以在一定場(chǎng)景下識(shí)別通過文字處理進(jìn)行偽裝的垃圾郵件。
　　 2.在統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)分類

3、算法的研究基礎(chǔ)上，通過翔實(shí)的實(shí)驗(yàn)，驗(yàn)證了支持向量機(jī)在垃圾郵件分類中的有效性，通過分析各種核函數(shù)、訓(xùn)練樣本分布對(duì)分類性能的影響，根據(jù)中文郵件分類的特殊要求，提出一種代價(jià)敏感支持向量機(jī)，通過調(diào)整學(xué)習(xí)機(jī)參數(shù)可以有效降低垃圾郵件過濾假陽性率，使支持向量分類算法更加符合垃圾郵件過濾這一特定應(yīng)用需求。
　　 通過分析支持向量機(jī)在垃圾郵件分類時(shí)錯(cuò)誤分類樣本的分布特性，提出一種將分類結(jié)果劃分為正常郵件、垃圾郵件和可疑郵件3個(gè)類別的改進(jìn)分類算法，

4、可以使支持向量機(jī)進(jìn)行垃圾郵件過濾時(shí)進(jìn)一步降低對(duì)正常郵件的誤判，提高分類器的實(shí)用性。
　　 3.為了保證垃圾郵件過濾技術(shù)在實(shí)際應(yīng)用中的有效性，過濾器必須及時(shí)跟蹤垃圾郵件語義特征的變化，且目前對(duì)圖片格式垃圾郵件的過濾仍以相似圖片檢測(cè)為基礎(chǔ)，這兩個(gè)問題都需要以相對(duì)完備的垃圾郵件樣本為基礎(chǔ)，因此必須實(shí)現(xiàn)垃圾郵件樣本的共享。在深入研究全分布式結(jié)構(gòu)化P2P技術(shù)以及各種分布式哈希表路由算法基礎(chǔ)上，針對(duì)結(jié)構(gòu)化P2P無法實(shí)現(xiàn)資源的模糊查詢的缺點(diǎn)，

5、結(jié)合相似文本檢測(cè)技術(shù)、相似圖像檢測(cè)技術(shù)，提出一種擴(kuò)展路由策略。該策略通過擴(kuò)展DHT路由策略，基于Chord路由算法實(shí)現(xiàn)了相似文本和相似圖像在結(jié)構(gòu)化P2P網(wǎng)絡(luò)中的聚集存儲(chǔ)，滿足分布式存儲(chǔ)中負(fù)載均衡的要求，并在此基礎(chǔ)上實(shí)現(xiàn)了結(jié)構(gòu)化P2P網(wǎng)絡(luò)中垃圾郵件樣本的高效共享。
　　 最后，針對(duì)單點(diǎn)、單種反垃圾郵件技術(shù)過濾能力有限的情況，結(jié)合上述關(guān)鍵技術(shù)的研究，提出一種多層次組合、多點(diǎn)協(xié)作的過濾系統(tǒng)體系，以期達(dá)到對(duì)各種垃圾郵件更加有效地進(jìn)行過濾