基于信息幾何的神經網絡學習問題研究.pdf

1、從上世紀80年代起，神經網絡的研究引起了人們的高度重視，其應用范圍廣泛，涉及模式識別、函數逼近、智能控制、數據挖掘和知識發(fā)現等諸多領域，并取得了可喜的成績。但在應用中，尤其在神經網絡學習方面還面臨著一系列的問題，比如如何確定網絡結構、過學習與欠學習、知識可增殖學習等問題。這些嚴重影響著神經網絡的整體性能。如何解決神經網絡面臨的問題，建立有效的神經網絡學習機制是神經網絡應用迫切需要解決的課題?；谖⒎謳缀?、信息論以及統計學的信息幾何理論，

2、是研究非結構化、非線性空間更合理的方法和手段。以應用該理論為代表的整體結構的研究，是人工神經網絡下一步發(fā)展的重要方向和突破點之一。 本文主要以信息幾何理論為基礎，對神經網絡學習中的幾個關鍵問題如結構學習、學習機制及增殖學習問題做了研究，提出了基于信息幾何的模型選擇準則、給出了對網絡修剪法的信息幾何理論解釋并提出了信息幾何的網絡構建和優(yōu)化算法、提出了簡化的層次化神經系統模型、提出了模塊化網絡是真正實現網絡知識增殖學習的有效途徑并從

3、信息幾何的角度作了論證。主要創(chuàng)新工作有： 1.提出了一種基于信息幾何的模型選擇準則IGMSC，并給出了理論分析與實驗驗證。該準則利用模型流形的內在幾何特性及模型流形與數據流形的幾何位置關系來評價模型的復雜度與模型-數據擬合度，具有參數表示不變性的特點，賦予了復雜度與擬合度清晰的幾何意義，為數據模型的選擇提供了理論上的支持，實驗結果也證實了準則的可行性與有效性。 2.給出了神經網絡結構修剪法的信息幾何理論解釋，并提出了基于

4、子流形投影的神經網絡結構構建和優(yōu)化算法SPP。使用信息幾何理論證明了修剪法的理論可行性，將修剪過程表述為一系列信息投影問題，詮釋了修剪法的作用機理，為提出更有效的網絡構建和優(yōu)化策略提供理論基礎和依據。在此基礎上提出了基于信息幾何的修剪法SPP，該算法具有可靠的數學基礎以及明確的數學機理。實驗結果證明了方法的可行性與有效性。 3.提出了一種簡化的模擬人類思維層次的層次化神經系統模型，并利用基于信息幾何的神經場學習理論解釋了不同層次