特征選擇算法及其在基于內(nèi)容圖像檢索中的應(yīng)用研究.pdf

1、隨著計算機應(yīng)用范圍和領(lǐng)域的日益擴大，特別是Internet的飛速發(fā)展，在各種應(yīng)用系統(tǒng)和Internet上積累了大量、甚至海量數(shù)據(jù)，產(chǎn)生了“數(shù)據(jù)爆炸、知識貧乏”的現(xiàn)象；數(shù)據(jù)挖掘是解決這種問題的最為有效的手段，但是要有效地利用數(shù)據(jù)挖掘，對數(shù)據(jù)進行預(yù)處理是必不可少的，而特征選擇是數(shù)據(jù)預(yù)處理中一種重要而且經(jīng)常采用的方法。此外，在機器學(xué)習(xí)和模式識別中，特征選擇也是一個必要的步驟。 特征選擇的研究開始于上個世紀(jì)的六十年代，已經(jīng)有幾十年的歷史

2、，取得了許多成果，但隨著新的應(yīng)用領(lǐng)域和新對象不斷涌現(xiàn)，使得特征選擇還有許多問題亟待解決。本論文對此作了詳細介紹，并對目前特征選擇的研究熱點和問題進行了深入的研究，取得了一定的成果。 作者把特征選擇的研究分為三個階段，首先介紹了常規(guī)的特征選擇算法模型，并分別從研究人員和用戶角度，對特征選擇算法進行分類，這將大大方便用戶選擇合適的特征選擇算法，有助于特征選擇算法的應(yīng)用，也為特征選擇算法的進一步研究打下堅實的基礎(chǔ)。 其次，提出

3、或者介紹了一些具體的特征選擇算法，也是當(dāng)前的一些研究重點和熱點，包括在模糊特征空間進行特征選擇的算法、監(jiān)督的高維特征選擇算法、非監(jiān)督的高維特征選擇算法和小樣本訓(xùn)練的特征選擇算法。其中，對于模糊特征空間的特征選擇，主要是利用擴張矩陣作為搜索策略，類間的模糊相似性作為評價準(zhǔn)則，理論和實驗都表明該算法具有較好的性能和低的時間開銷。該算法屬于一種專業(yè)算法，充分考慮特征的模糊性，可以應(yīng)用到模糊分類器的設(shè)計中。而在監(jiān)督的高維特征選擇中，由于現(xiàn)實的高

4、維數(shù)據(jù)集中往往存在大量的冗余特征和不相關(guān)特征，因此作者提出了一種基于特征關(guān)聯(lián)性的分層過濾器方法，有效地消除冗余特征和不相關(guān)特征，實驗表明該算法能有效地降低特征維數(shù)。同時將該方法與部分基于關(guān)聯(lián)性的方法進行了比較分析，并全面系統(tǒng)地回顧了所有基于特征關(guān)聯(lián)性的高維特征選擇算法以及關(guān)聯(lián)性的定義和計算公式，大大有助于以后的研究。在非監(jiān)督特征選擇的研究中，作者提出一種新的基于特征排序和分層的過濾器算法，排序規(guī)則采用的是指數(shù)熵，而評價準(zhǔn)則采用了模糊特征

5、評價指標(biāo)，該算法克服了其它一些非監(jiān)督特征選擇算法的缺點，可以同時剔除冗余特征和不相關(guān)特征，能有效處理高維數(shù)據(jù)和噪聲數(shù)據(jù)，且計算的開銷較小。前面提出的三種算法都是建立在訓(xùn)練樣本較充分的基礎(chǔ)之上，但當(dāng)可獲取的訓(xùn)練樣本相對于特征維數(shù)偏少時，如何有效地進行特征選擇？作者詳細介紹了一類基于支持向量機的特征選擇算法，該類算法是建立在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上，尋求結(jié)構(gòu)風(fēng)險最小化的特征子集，主要是利用對支持向量機的性能影響進行特征選擇，選擇的效果很好。目前

6、的研究還只是對樣本類別已知的情況下進行特征選擇，隨著支持向量機的理論研究不斷深入，支持向量機用于非監(jiān)督特征選擇是完全可能的。 另外，還對特征選擇算法的應(yīng)用進行了初步探討，并以特征選擇算法在基于內(nèi)容圖像檢索中的應(yīng)用作為例子，詳細分析了基于內(nèi)容的圖像檢索中特征選擇的必要性和采用的方法，對其特有的方法——相關(guān)反饋技術(shù)進行了深入的分析研究，給出其理論模型。同時將前面提出的監(jiān)督高維特征選擇算法在圖像數(shù)據(jù)庫中做了粗略的實驗，獲得不錯的效果。