極限學習機的研究與應用.pdf

1、機器學習是當今大數(shù)據(jù)時代的核心研究方向,機器學習的研究成果被廣泛應用到模式識別、計算機視覺、數(shù)據(jù)挖掘、控制論等領域當中,并滲透到人們日常生活的方方面面當中。而在機器學習的研究當中,分類器的研究占據(jù)著舉足輕重的地位,絕大部分的實際問題都可以轉換成一個分類問題,分類器的性能往往是一個應用成果與否的關鍵。挖掘分類器,如支持向量機(SVM)、adaboost、極限學習機(ELM)等,的潛力已經(jīng)成為了當今機器學習的主流研究方向。
　　本文的

2、主要研究內容是極限學習機的潛力挖掘。極限學習機是從單隱藏層的神經(jīng)網(wǎng)絡發(fā)展而來,并具有易于實現(xiàn),速度快,泛化能力強等特點,而成為廣大學者的研究對象。本文通過對極限學習機的研究,針對極限學習機理論和應用上的缺陷,提出了三個極限學習機的變種,改善了極限學習機的性能,拓寬了極限學習機的應用。
　　本論文主要完成了下列工作:
　　(1)在多輸入對多輸出的回歸問題中,極限學習機只考慮輸入空間各個維度之間的結構化信息而忽略輸出空間的結構化

3、信息。針對這一弱點,本文提出了輸出空間嵌入式極限學習機,將輸出空間中各個維度之間的結構化信息“嵌入”極限學習機的神經(jīng)網(wǎng)絡中,從而提高極限學習機在多輸入對多輸出的回歸問題的準確率。
　　(2)針對極限學習機缺乏有效的訓練方法這一弱點,本文提出了分布最優(yōu)化的極限學習機。該算法將輸入權重和隱藏層偏置進行含有待定參數(shù)的編碼,利用現(xiàn)有的基于梯度的優(yōu)化算法優(yōu)化待定參數(shù),從而得到輸入權重和隱藏層偏置的最優(yōu)分布,并提高極限學習機的準確率。

4、　　(3)目前極限學習機缺乏分布式的實施方法,對于大數(shù)據(jù)問題力不從心。特別對大數(shù)據(jù)分布在網(wǎng)絡中不同節(jié)點,每個節(jié)點擁有自已的私密數(shù)據(jù)這類應用更加束手無策。本文針對這一弱點,將交替方向乘子法(ADMM)應用到極限學習機的實現(xiàn)當中,提出了協(xié)同分布式極限學習機,拓寬了極限學習機在大數(shù)據(jù)時代的應用。
　　上述研究成果,具有一定的前瞻性和挑戰(zhàn)性。本文在理論分析上取得一些突破,在技術實現(xiàn)上具有一些創(chuàng)新,為挖掘極限學習的潛力和拓寬極限學習機中的應