基于SVM技術的手寫數(shù)字識別的研究.pdf

1、支持向量機(SupportVectorMachine，SVM)是由Vapnik于1995年提出的針對分類和回歸問題的統(tǒng)計學習理論，是在高維特征空間使用線性函數(shù)假設空間的學習系統(tǒng)。近年來，其理論研究和算法實現(xiàn)方面都取得了突破性進展，開始成為克服維數(shù)災難和過學習等傳統(tǒng)困難的有力手段。由于SVM方法具有許多引人注目的優(yōu)點和有前途的實驗性能，越來越受重視。該技術已成為機器學習研究領域中的熱點，并取得很理想的效果，如人臉識別、手寫體數(shù)字識別和網(wǎng)頁

2、分類等。 手寫數(shù)字識別在很多領域具有廣泛的應用前景，國內外學者對此做了大量的研究工作，提出了很多預處理和模式識別的算法，大大提高了手寫數(shù)字的識別精度。但到目前為止，手寫數(shù)字識別的識別精度還有待提高，核函數(shù)核參數(shù)選擇等問題尚有待解決。為了提高手寫數(shù)字識別的精度，本文將支持向量機應用于手寫數(shù)字識別，開發(fā)了SVM-HDR軟件系統(tǒng)。在系統(tǒng)總結前人工作的基礎上，重點研究影響SVM分類法性能的各種因子。把這一選擇最佳因子的方法流程化，驗證了

3、支持向量機在手寫數(shù)字識別中的有效性。此外，本文在手寫數(shù)字的識別過程中提出了引入先驗知識的虛擬樣本法，期望該方法能對提高基于支持向量機的手寫數(shù)字識別的精度起到推動作用。本文主要工作體現(xiàn)在以下方面： (1)對多類分類方法進行分析比較。 著重對一類對余類法(one-against-all)，成對分類法(one-against-one)和有向無環(huán)圖法(DirectedAcyclicGraph，DAG)三種分類方法進行了比較分析。

4、針對具體數(shù)據(jù)庫，在識別精確度、訓練時間和測試時間方面進行了實驗，為手寫數(shù)字識別選擇適用的多類分類方法。根據(jù)實驗結果，本文選擇使用成對分類方法。 (2)對訓練算法進行比較分析。 對三種主流訓練算法：Chunking算法，Osuna算法和SMO算法，在速度、精度和內存節(jié)省等方面進行對比。相比之下，SMO算法速度較快，精度較高，比較節(jié)省內存，且適合大規(guī)模問題的求解。因此，本文選擇該算法作為手寫數(shù)字識別的訓練算法。 (3

5、)驗證支持向量機用于手寫數(shù)字識別的有效性。 鑒于支持向量機的優(yōu)點，將其應用于手寫數(shù)字識別來提高識別精度。將各方面選出的最優(yōu)因子用于SVM-HDR軟件系統(tǒng)中，使該過程流程化。對具體的手寫數(shù)字庫MNIST進行數(shù)據(jù)預處理，歸一化，最佳核函數(shù)與核參數(shù)的選擇，訓練和測試等操作。將程序結果與使用其他技術對同一數(shù)據(jù)庫的識別結果進行比較，驗證了SVM識別方法的有效性。 (4)提出引入先驗知識的虛擬樣本法。 支持向量是訓練集的一個

6、子集，基本上可以代表訓練集中的全部信息，也就是說只有這個子集對分類問題的求解起作用。因此，在一個SVM訓練得到的支持向量集合上訓練另一個SVM，其測試性能并不亞于在整個訓練集上訓練得到的結果。 利用對輸入圖像的某些變換不會改變識別結果的理論，本文在驗證支持向量機在手寫數(shù)字識別中有效性的程序基礎上，提取出訓練集的支持向量，在該集合上進行平移不變性變換，人工生成了虛擬支持向量，加上沒有變換的支持向量，得到數(shù)量為原支持向量五倍的虛擬樣