Web文本分類關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展以及Internet的普及，大量的信息充斥著我們的生活、工作，信息的產(chǎn)生量達(dá)到空前水平，而這些基于 Web所產(chǎn)生的數(shù)據(jù)大多是非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)，因此對這些數(shù)據(jù)的組織與處理方式對我們是一大挑戰(zhàn)。通過 Web文本分類技術(shù)，可以對 Web文本數(shù)據(jù)進(jìn)行高效的組織及分類，這就有效的提高了信息檢索的速度及精度。同時Web文本分類技術(shù)是Web文本挖掘技術(shù)的一部分，正是由于對Web文本分類精度的提高，為人們從Web中提取未知的及

2、有價值的信息提供了可能。
　　本文正是以Web文本數(shù)據(jù)作為研究對象，對Web文本分類技術(shù)所涉及的問題及技術(shù)進(jìn)行分析與研究。同時，本文對 Web文本分類技術(shù)的研究背景及其所具有的意義進(jìn)行了介紹，對當(dāng)前國內(nèi)外該研究領(lǐng)域的研究現(xiàn)狀進(jìn)行了說明。在此基礎(chǔ)上，描述了其涉及到的相關(guān)知識及分類效果的評估，為后續(xù)操作提供了理論依據(jù)。首先，對于現(xiàn)有的Web文本分類技術(shù)中，在文本特征選擇階段中所進(jìn)行的特征選擇方式進(jìn)行了分析討論，對于文本特征之間關(guān)系進(jìn)行

3、了研究，設(shè)計了一種采用Web文本特征關(guān)聯(lián)性進(jìn)行文本特征選擇的方案，并通過實驗驗證了其在文本分類方面的作用及意義。與此同時，從基于信息增益（IG）的特征提取方法與基于?2統(tǒng)計量的特征選擇所具有的優(yōu)點得到啟發(fā)，通過對其進(jìn)行進(jìn)一步的研究、改進(jìn)，采用IG-CHI方法進(jìn)行特征提取的方案，結(jié)合傳統(tǒng)的特征提取方式對兩種特征選擇方式在效率及精度方面進(jìn)行了分析比較。其次，對于現(xiàn)有的分類模型進(jìn)行對比，在Web文本分類模型中單個分類器在效率及準(zhǔn)確性方面并不能