支持向量技術(shù)及其應用研究.pdf

1、支持向量技術(shù)可用于解決機器學習中的分類（監(jiān)督學習）和聚類分析（無監(jiān)督學習）問題，其對應的方法分別為支持向量機(Support Vector Machine，SVM)和支持向量聚類（Support Vector Clustering，SVC）。支持向量機建立在統(tǒng)計學習理論的VC維(Vapnik Chervonenkis dimension)理論與結(jié)構(gòu)風險最小化原則的基礎(chǔ)之上，它能夠根據(jù)有限樣本信息在模型復雜度與學習能力之間尋求最佳折衷，具

2、有較好的泛化性能。同時，支持向量機可以較好地解決困擾許多學習算法的小樣本、非線性、過學習、高維數(shù)以及局部極值問題。支持向量聚類繼承并推廣了支持向量機的基本思想，是在無監(jiān)督信息的環(huán)境下，使用支持向量技術(shù)進行類別學習的算法，它可以聚類具有任意簇形狀的數(shù)據(jù)集，并無需預先給定聚類的數(shù)目。支持向量機與支持向量聚類技術(shù)在輪機故障診斷、場景分類等多個領(lǐng)域有著廣闊的應用前景，其相關(guān)的研究，也得到了人們普遍的關(guān)注。本文針對基于支持向量的學習算法及其應用，

3、作了如下幾方面研究:
　　1.針對基于決策樹的多分類支持向量機其最優(yōu)決策樹結(jié)構(gòu)難于確定，易產(chǎn)生誤差累積影響分類準確率的問題，研究了一種基于遺傳算法優(yōu)化支持向量機決策樹的多分類方法。以非線性支持向量機在高維特征空間中標準超平面的分類間隔最大化為目標，并將與其等價的目標函數(shù)作為遺傳算法的適應度函數(shù)，采用輪盤賭選擇，有序交叉、倒位變異三種操作算子，應用染色體實值編碼的遺傳算法來優(yōu)化支持向量機決策樹結(jié)構(gòu)。該方法能將分類間隔大的類別盡早的劃

4、分開，從而減少誤差累積。
　　2.提出一種基于改進核主成分分析與線性支持向量機的分類算法。針對核主成分分析保留的主元只是依據(jù)其對數(shù)據(jù)信息總量的貢獻率，而未考慮其是否有利于分類的問題，采用類間分離性測度，在核主成分分析基礎(chǔ)上進一步提取具有更多類別信息量的主元，然后應用具有軟間隔的線性支持向量機進行分類。將該方法應用于場景分類問題中，研究了一種基于局部Gabor特征的場景分類方法，在提取場景圖像特征時，提出一種新的局部Gabor特征描

5、述子，并將其嵌入視覺詞包模型，然后在金字塔匹配框架下，提取塔式關(guān)鍵詞直方圖作為表示場景圖像的特征向量，最后應用改進核主成分分析與線性支持向量機方法進行場景分類，通過對三個通用的場景數(shù)據(jù)集進行實驗，結(jié)果表明該算法的有效性。
　　3.提出一種新的基于多葉子生成樹的支持向量聚類算法，采用并查集構(gòu)建多葉子生成樹，與最小生成樹相比，該算法具有更快的執(zhí)行速度，且該生成樹擁有更多的葉子結(jié)點，其主干更為精簡，然后只對多葉子生成樹的主干進行連接關(guān)系

6、檢查，并據(jù)此生成聚類標定所需的鄰接矩陣，最后采用深度優(yōu)先搜索算法基于鄰接矩陣進行聚類劃分。鑒于樣本點在高維特征空間中的分布由于經(jīng)過非線性映射的優(yōu)化，更加利于類別的劃分，進一步將提出的算法擴展至高維特征空間，采用徑向基核函數(shù)來計算樣本點在高維特征空間中映像的歐氏距離，并以此作為邊的權(quán)重，在希爾伯特空間構(gòu)建多葉子生成樹，再進行簇標定，獲得了較好的效果。并將其應用于船舶柴油機故障診斷中，針對Kongsberg公司研發(fā)的MAN B&W5L90M