基于信息論的特征選擇和分類算法研究.pdf

1、西南農(nóng)業(yè)大學(xué)碩士學(xué)位論文基于信息論的特征選擇和分類算法研究姓名：張隆申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：農(nóng)業(yè)機(jī)械化工程指導(dǎo)教師：余建橋20050501析和判定冗余特征必然會(huì)使特征選擇算法的效率降低，因而這種方法是不適合商維度的特征選擇的在馬爾可夫毯過(guò)濾法中，我們通過(guò)抽取該方法的基本特性，分析該方法的主要組成部分并結(jié)合關(guān)聯(lián)量度RMI，推論并構(gòu)造了一個(gè)近似的馬爾可夫毯過(guò)濾法，并以此方法在相關(guān)特征集中進(jìn)行冗余特征分析。在近似的馬爾可夫毯過(guò)濾法中，特征與類

2、別之聞的關(guān)聯(lián)稱為c關(guān)聯(lián)，兩個(gè)特征之問(wèn)的關(guān)聯(lián)稱為F關(guān)聯(lián)，沒(méi)有任何的近似的馬爾可夫毯的特征稱為優(yōu)越的特征。近似的馬爾可夫毯的基本工作原理是：如果特征x的c關(guān)聯(lián)大于特征Y的c一關(guān)聯(lián)且特征之間的F關(guān)聯(lián)大于特征Y的c關(guān)聯(lián)，則特征Y是冗余的。由近似的馬爾可夫毯的基本工作原理可知其基本性質(zhì)：具有晟大c關(guān)聯(lián)值的特征不存在近似的馬爾可夫毯，該特征是優(yōu)越的特征。利用該性質(zhì)，在對(duì)相關(guān)特征的C。關(guān)聯(lián)值進(jìn)行排序后，可以從具有最大C關(guān)聯(lián)值的特征開(kāi)始，逐步消除所有的

3、冗余特征，而保留優(yōu)越的特征，最后形成的特征集由所有優(yōu)越的特征組成。利用近似的馬爾可夫毯過(guò)濾法進(jìn)行相關(guān)性和冗余性分析，就是通過(guò)選擇所有的優(yōu)越特征并且除去剩余特征的方法。它使用c關(guān)聯(lián)和F關(guān)聯(lián)來(lái)確定特征冗余，而且結(jié)合前向序列選擇和除去冗余特征因此，它不但圍繞所有的特征對(duì)進(jìn)行F關(guān)聯(lián)分析。而且比純粹的前向序列選擇或后向消除法取得更高的效率。本文第5章提出了一個(gè)建立在相關(guān)特征集上的數(shù)據(jù)分類方法——MⅡN算法。該算法以信息論量度為基本工具通過(guò)條件互信

4、息評(píng)估各個(gè)相關(guān)特征在分類過(guò)程中的等級(jí)次序，產(chǎn)生簡(jiǎn)潔的分類規(guī)則，并評(píng)估分類規(guī)則在分類過(guò)程中的重要程度。互信息網(wǎng)絡(luò)(～lutual—InformationNetwork(MIN))是一種信息論方法，在拓樸結(jié)構(gòu)上類似于神經(jīng)網(wǎng)絡(luò)，在預(yù)測(cè)方式上類似于決策樹(shù)。建立互信息網(wǎng)絡(luò)的原理是：在一個(gè)已知結(jié)點(diǎn)的條件下，如果一個(gè)特征與類別特征之間的條件互信息值最大，則該特征是此結(jié)點(diǎn)下最重要的特征，并由此分裂產(chǎn)生新的結(jié)點(diǎn)。在互信息網(wǎng)絡(luò)構(gòu)建過(guò)程中，對(duì)于任何給定的結(jié)點(diǎn)

5、Z，找出不屬于結(jié)點(diǎn)z分支的所有特征，并計(jì)算這些特征與類別之問(wèn)的條件互信息取得使條件互信息值最大的特征，則該特征是在結(jié)點(diǎn)z的條件下對(duì)分類最重要的特征，將該特征按其特征值進(jìn)行結(jié)點(diǎn)分裂。如果沒(méi)有特征使得條件互信息顯著增加，則該結(jié)點(diǎn)為最終結(jié)點(diǎn)，將該結(jié)點(diǎn)與類別結(jié)點(diǎn)進(jìn)行連接，并計(jì)算結(jié)點(diǎn)與類別結(jié)點(diǎn)之間的權(quán)重，形成一條分類規(guī)則。通過(guò)條件互信息建立的互信息網(wǎng)絡(luò)分類模型具有如下優(yōu)點(diǎn)：在分類預(yù)測(cè)準(zhǔn)確率上比其它分類學(xué)習(xí)算法有所提高；由它產(chǎn)生的規(guī)則形式簡(jiǎn)單；模型