文本分類算法的研究與改進(jìn).pdf

1、文本分類可以為文本提供有序的組織，網(wǎng)絡(luò)信息的增長使文本分類對信息處理的意義變得更加重要。
　　 二十世紀(jì)八十年代以后，基于機(jī)器學(xué)習(xí)的文本自動分類方法越來越成為主流，它具有周期短，效率高，節(jié)省人力資源等優(yōu)點。但文本自動分類研究自開展以來，準(zhǔn)確率一直不能達(dá)到令人滿意的效果，如何提高分類準(zhǔn)確率成為研究熱點。
　　 本文較詳細(xì)的介紹了文本自動分類的多種關(guān)鍵技術(shù)，分析了文本的向量空間模型的表示效力以及它對于分類效果的影響因素；然后

2、針對樸素貝葉斯文本分類方法中“屬性獨立性假設(shè)”的不足，運用局部降維的思想提出了一種用互信息差值來表達(dá)特征項之間的相關(guān)性，對相關(guān)性高的特征采取適當(dāng)融合來達(dá)到向量空間降維的方法。
　　 此方法首先對訓(xùn)練文本集中的每篇文本提取出原始的特征詞，經(jīng)過去除停用詞、詞義消歧的處理后，在類的內(nèi)部利用信息差值來表達(dá)特征項之間的相關(guān)性，對相關(guān)性高的特征采取適當(dāng)融合的方法來對特征向量進(jìn)行局部降維。得出的向量與降維前相比，低頻特征詞的數(shù)目大為減少，高頻