帶懲罰項的BP神經網絡在線梯度法.pdf

1、多層前傳神經網絡在許多領域有著廣泛的應用.網絡的泛化能力,即網絡在訓練集以外的樣本上的精度,是標志神經網絡性能的一個重要指標.提高網絡泛化能力的一個重要指導思想是選擇能夠在訓練集上達到精度要求的盡可能小的網絡.這里所說的小網絡是指具有較少的神經元或連接的網絡.得到這樣的較小網絡的一個有效途徑是:在網絡訓練完成之后刪除一些不重要的單元或連接.關于這方面的算法的介紹參見[7,15,19].其中,從網絡中刪除連接權值的方法中包括在傳統(tǒng)的誤差函

2、數(shù)中加入一個懲罰項,這樣不重要的連接就有較小的權值,修剪這些權值就可以使網絡的復雜性大大減小[22].另外,在一些訓練結束時不對網絡進行修剪的情況中,網絡的復雜性仍然會因為權值都比較小而大幅降低,因而會表現(xiàn)出較好的泛化能力[18,26].所以在BP網絡的誤差函數(shù)中加入懲罰項是提高網絡泛化能力的一個重要途徑.已有許多文獻研究了多種不同的懲罰項,例如[10,12,13,22,26].他們中的大多數(shù)([10,12,22,26])都是在實驗的基

3、礎上對懲罰項的性能進行研究,沒有在數(shù)學上論證權值的有界性.Jun Kong&Wei Wu[13]對一種懲罰項的性質在數(shù)學上作了研究,他們在訓練樣本線性無關(樣本個數(shù)不能多于樣本的維數(shù))的條件下,證明了應用懲罰項到無隱層BP網絡中可以保證權值有界.該文將在Jun Kong&Wei Wu[13]工作的基礎上探討將懲罰項應用到更重要的有隱層BP神經網絡中,同時允許樣本線性相關.我們證明了在上述條件下,網絡的每個權值都是有界的,并且網絡是確定性