極限學習機算法及其在高爐冶煉過程建模中的應用研究.pdf

1、隨著信息技術的快速發(fā)展，基于數(shù)據(jù)的機器學習算法在工業(yè)過程建模中扮演著日益重要的角色，特別是對于那些結構復雜、機理不明的非線性時變系統(tǒng)。極限學習機（ExtremeLeaningMachine，ELM）是最近幾年才出現(xiàn)的一種薪的機器學習算法。與傳統(tǒng)的核學習算法相比，ELM不僅具有良好的泛化性能，還表現(xiàn)出訓練速度快、算法簡單易實現(xiàn)以及人為干預參數(shù)少等優(yōu)勢，在復雜系統(tǒng)建模、大規(guī)模樣本學習以及實時在線預測等問題中表現(xiàn)出巨大潛力。目前，ELM理論和

2、應用方面的研究正吸引著國內外越來越多的關注。
　　本文圍繞ELM算法的若干理論問題及其在高爐冶煉過程建模中的應用展開研究，得到的主要研究成果總結如下:
　　(1)從兩個新的角度——VC維和在不同訓練樣本規(guī)模下的算法性能——對ELM和支持向量機(SVM)做了比較研究。嚴格證明ELM的VC維以概率1等于其隱含層神經(jīng)元個數(shù)。這為根據(jù)統(tǒng)計學習理論對ELM泛化性能的界進行理論估計提供了依據(jù)。而在不同訓練樣本規(guī)模下的比較研究表明:在較大

3、訓練樣本集上，兩者具有相近的泛化性能;但在小樣本集上，前者的泛化性能及其穩(wěn)定性要低于后者。這些結論是對當前現(xiàn)有研究結果的有益補充。
　　(2)針對ELM的模型選擇問題，完成了兩方面的工作。一是針對回歸和分類兩種情形分別給出了ELM的快速留一交叉驗證算法，并首先從理論上證明了其正確性，然后基于數(shù)值仿真驗證了其有效性。二是提出了一種新的基于VC泛化界的ELM模型復雜性控制方法，仿真實驗表明，在小樣本情形下，該方法的性能明顯優(yōu)于其它4種

4、經(jīng)典統(tǒng)計模型選擇方法。
　　(3)基于Johnson-Lindenstrauss定理和仿真實驗，首先指出了造成ELM算法訓練和測試性能算法不穩(wěn)定以及小樣本情形下建模性能差的兩個原因:隨機投影的距離保持性能和隨機特征向量各分量的分布穩(wěn)定性;然后，通過輸入層權重正交化，適當控制隱含層結點個數(shù)，并結合結構風險最小化原則，提出一種距離保持ELM算法(DistancePreservingELM，DP-ELM)，有效地解決了原ELM算法存在的

5、以上兩個問題;最后，仿真實驗驗證了其有效性。
　　(4)為了增加ELM模型的透明性，研究了若干種不同類型的先驗信息在ELM算法中的融合問題。首先，通過構造對稱激活函數(shù)建立了對稱ELM，并證明其具有以任意精度逼近任意有限樣本的逼近能力，仿真實驗表明，對稱ELM需要更少的隱含層神經(jīng)元個數(shù)和更短的訓練時間，同時能夠獲得更高的泛化性能。其次，還給出了若干線性等式先驗信息在ELM中的融合算法，具體包括:已知特定點函數(shù)值、特定點導數(shù)值以及各輸

6、出函數(shù)間依賴關系的先驗信息，這些算法能有效地增加ELM模型透明性并改進其逼近性能。
　　(5)在ELM算法框架下，對高爐冶煉過程的數(shù)學模型進行了探討，分別建立了高爐鐵水硅含量的數(shù)值預測模型、趨勢預測模型以及燒結礦化學成分預測模型。首先，建立了高爐鐵水硅含量的ELM和DP-ELM數(shù)值預測模型，并與BP神經(jīng)網(wǎng)絡和SVM算法做比較，分析了所建立模型的優(yōu)缺點，并指出DP-ELM和SVM性能相近，優(yōu)于ELM和BP神經(jīng)網(wǎng)絡;然后，基于ELM和

7、DP-ELM分類器輸出的后驗概率屬性建立了高爐鐵水硅含量的趨勢預測模型，實現(xiàn)了高爐爐溫的變化趨勢預測以及相應后驗概率的估計;最后，根據(jù)燒結過程自身的特點，在ELM框架下建立了融合領域知識的燒結礦化學成分預測模型。仿真實驗表明，在ELM這種黑箱建?？蚣芟氯诤舷闰炛R對于提高模型性能具有重要的作用。
　　(6)針對ELM/DP-ELM算法對冗余變量敏感的問題，提出了基于留一誤差梯度的DP-ELM特征伸縮算法(FS-DPELM)，并據(jù)此