維吾爾文垃圾短信過濾技術研究.pdf

1、手機上的維吾爾文輸入法的成功開發(fā)和投入使用解決了維吾爾族用戶由于語言、文字差異造成的通訊困難等問題，維吾爾語短信的使用率也隨之大大的提高。隨著用維吾爾文發(fā)送短信的普及，各種維吾爾文垃圾短信開始出現，對人們的正常生活造成了困擾。如何準確、快捷地用科學的方法自動攔截和過濾這些垃圾短信成為人們關注的重點。
　　本文為了凈化維吾爾文短信交流環(huán)境，根據維吾爾文的文字特征，采用基于維吾爾文短信文本分類的方法和基于規(guī)則的方法對維吾爾文垃圾短信進

2、行過濾。本文主要內容如下：
　　1.介紹維吾爾文的特點和垃圾短信的過濾方法。分析維吾爾文的構詞、語法規(guī)律，垃圾短信過濾的特點。介紹基于文本內容和規(guī)則的不同的過濾方法，對應提出采用文本分類方法和黑白名單方法短信過濾的思路。
　　2.改進傳統(tǒng)的期望交叉熵算法。為短信文本分類選擇特征，分析傳統(tǒng)的期望交叉熵算法的原理和優(yōu)缺點，針對其特征詞分布未考慮全面、未考慮低頻詞條對計算量的影響等缺點引入集中度、分散度和最低詞頻限制等要素進行相應

3、的改進。集中度表示在一個類別中出現次數多又分布較均勻的特征項、分散度衡量某一個特征項在各個類別的分布程度。最后用改進后的算法對維吾爾文短信文本進行特征選擇和提取。實驗表明，改進的期望交叉熵方法在同等條件下比傳統(tǒng)的方法更具有優(yōu)越性，準確率更高、特征項數量要求更少。
　　3.提出一種基于深度置信網絡的維吾爾文短信文本分類模型。針對在維吾爾文文本分類中，傳統(tǒng)分類算法的準確率不高的問題，提出一種基于深度置信網絡的維吾爾文短信文本分類模型。

4、深度學習仿效人腦的層次性結構，對數據從下到上的層次順序逐漸地進行特征提取，從而發(fā)掘數據集的分布規(guī)律，提高分類的準確度。通過一層一層無監(jiān)督的方式初始化深度置信網絡，并結合softmax回歸分類器實現文本的分類。最后在收集的維吾爾文短信數據集上進行實驗驗證，分類出正常短信和垃圾短信。
　　4.實現基于PC端的“維吾爾文垃圾短信過濾演示系統(tǒng)”和基于手機端的“基于Android端的維吾爾文垃圾短信實時過濾系統(tǒng)”。
　　在基于文本分類