支撐矢量機應用的關鍵技術研究.pdf

1、基于數(shù)據(jù)的機器學習一直是智能系統(tǒng)技術中的一個重要和極為活躍的研究方向和熱點，其內容主要為研究如何從觀測數(shù)據(jù)(樣本)中發(fā)現(xiàn)規(guī)律，利用獲得的規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測。包括模式識別、函數(shù)擬合及概率密度估計等在內的現(xiàn)有的基于數(shù)據(jù)的機器學習方法共同的重要理論基礎之一就是統(tǒng)計學。傳統(tǒng)統(tǒng)計學研究的是樣本數(shù)目趨于無窮大時的漸近理論，現(xiàn)有的諸如神經(jīng)網(wǎng)絡等機器學習方法也多是基于此假設。但對于大多數(shù)實際問題來說，樣本數(shù)目往往是有限的，因此一些在

2、理論上很優(yōu)秀的機器學習方法在實際應用中的表現(xiàn)卻可能不盡人意。 統(tǒng)計學習理論(Statisticallearningtheory,SLT)是一門研究小樣本情況下基于數(shù)據(jù)的機器學習理論的科學，其核心歸納原則為結構風險最小化(Structuralriskminimization，SRM)原則。支撐矢量機(Supportvectormachine，SVM)是統(tǒng)計學習理論中最實用、最年輕的部分，是基于結構風險最小化的普適而有效的統(tǒng)計學習理

3、論最具代表性的新型小樣本學習機，是結構風險最小化原則的具體實現(xiàn)。作為統(tǒng)計學習理論中最年輕、最具代表性的核心內容，SVM是機器學習領域研究與應用的熱點之一，仍處在不斷發(fā)展與豐富階段。 針對支撐矢量機面向實際應用的幾個關鍵問題，展開了相應的研究，主要內容包括下面四個方面：將模糊邏輯技術引入傳統(tǒng)的SVM中以加速傳統(tǒng)SVM的學習速度及提高其性能；提出了基于遺傳算法的SVM模型自動選擇方法；系統(tǒng)客觀地評價了幾種常用的SVM泛化性能指標；提

4、出了一種簡單高效的SVM泛化性能指標。主要工作可概括為如下五個創(chuàng)新點： (1)由于在多數(shù)支撐矢量機中采用全部數(shù)據(jù)進行優(yōu)化計算得到稀疏的支撐矢量，在優(yōu)化過程中不僅對支撐矢量進行優(yōu)化，也對非支撐矢量進行優(yōu)化，大大增加了不必要的計算。將模糊邏輯技術與傳統(tǒng)SVM相結合，提出了小樣本快速學習的模糊預選支撐矢量機(FuzzySVM，F(xiàn)SVM)。通過提出的模糊規(guī)則，利用近似SVM(ProximalSVM，PSVM)的快速性在原始數(shù)集上預選支撐

5、矢量，然后再利用標準SVM在訓練樣本數(shù)大大降低的預抽取的數(shù)集上獲得通常意義的稀疏的支撐矢量。不但提高了SVM的學習速度，同時保持其原有的較好的泛化能力。人造數(shù)據(jù)與Iris、Wine和Soy基準數(shù)集的實驗結果證明了所提方法的有效性。(2)針對現(xiàn)有的多類SVM有可能出現(xiàn)多個兩類分類器無法判別(即拒分)或一個數(shù)據(jù)屬于多類(即誤分)的情況，在研究支撐矢量機分類機理的基礎上，詳細分析了SVM多類分類問題中存在的誤分、拒分現(xiàn)象，結合模糊理論，提出了

6、更加簡單明確、易于計算的模糊隸屬度函數(shù)，給出拒分區(qū)域和誤分區(qū)域中的決策函數(shù)，提出了模糊多類支撐矢量機(Fuzzymulti-SVM，F(xiàn)MSVM)。基準數(shù)據(jù)集、手寫體數(shù)據(jù)以及殘缺不全的高分辨窄脈沖雷達目標一維距離像的識別實驗結果驗證了所提出的FMSVM的有效性。 (3)正如大多數(shù)學習機算法，SVM中的模型選擇問題在解決過匹配和欠匹配的折衷問題上也是一個關鍵所在，特別是在小樣本學習中，內嵌超參數(shù)的SVM如果參數(shù)選擇不當，會導致系統(tǒng)性

7、能惡化。實際應用時，多采用試湊的實驗方法來確定SVM模型參數(shù)，不但帶有一定的隨機性而且不一定獲得最優(yōu)的模型參數(shù)，并且不斷的試湊又浪費大量寶貴的時間。鑒于此，針對困擾著SVM研究與實際應用的模型選擇這一尚待解決的公開問題，提出了基于實值遺傳算法(Real-codedgeneticalgorithm，RGA)的SVM模型自動選擇方法。Heart基準數(shù)集與二值遙感軍事目標的分類識別實驗證明了所提出的基于RGA的SVM模型自動選擇方法的高效性。

8、 (4)在基于RGA實現(xiàn)SVM模型自動選擇的基礎上，進一步提出了指數(shù)編碼實值遺傳算法(Exponentional-codedgeneticalgorithm，EGA)SVM模型自動選擇方法，使之對大數(shù)集與較大的搜索空間仍然有效。進而在很大的參數(shù)空間范圍內系統(tǒng)地比較了幾種常用的SVM模型選擇泛化性能指標。由于避免了人為確定模型參數(shù)對SVM性能的影響，從而使對這幾種泛化性能指標的比較評價更客觀準確。機器學習領域基準數(shù)集的實驗結果證明

9、了支撐矢量數(shù)界對一階軟間隔SVM來說，是一個比較理想的泛化性能指標。 (5)在上述工作的基礎上，提出了一種簡單高效的SVM泛化性能指標。基于SVM是對經(jīng)驗風險和VC置信區(qū)間的一個折衷，將經(jīng)驗風險與支撐矢量數(shù)界顯式結合，提出了一種新的高效SVM泛化性能指標。根據(jù)少數(shù)離群點對SVM的泛化性能貢獻不大甚至有負面的影響，且離群點的拉格朗日乘子都較大的特點，所提出的泛化性能指標僅計算拉格朗日乘子較小的一級支撐矢量，進一步提高了其計算效率。