機器學習專題

1、序,有一位計算機科學家曾經和很多其他學科的科學家們在一起合作，大家互相介紹各自的工作的時候，這位計算機科學家苦心構思了這么一個例子，他說：我的工作就是要讓計算機認識這個，然后他畫了下面這幅圖， 嚴格的說是寫了這組嚴格對齊的數字,0000000000000000000000000000000000000000011000000000110001100000000011000110000000001100011000000000

2、110001100000000011000110000000001100011000000000111111111000000011111111100000000000011000000000000001100000000000000110000000000000000000000000000000000000,?？耍╯ank）：“一臺計算機若不能進行學習，就不能說它具有智能” Simon（1983）：學習就是系統(tǒng)中

3、的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。無統(tǒng)一的機器學習定義。機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍嚴格的提法是:ML是一門研究機器獲得新知識和新技能，并識別現有知識的學問,1、機器學習的定義,人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。 在這個過程中必然會問道：“機器怎樣做才能像人類一樣具有學習能力”。 機器學習廣泛應用于機器人、圖像處理、語音識別、數據挖掘等

4、領域。機器學習的發(fā)展有利于推動其他領域的發(fā)展。,2、為什么要研究機器學習？,預測難：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測。歸納推理：是論證的前提支持結論但不確保結論的推理過程(演繹推理保真);而且，歸納的結論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。判斷難：機器目前很難觀察什么重要、什么有意義。,3、實現的困難,5,4 系統(tǒng)學習性能評價,分類精度：是否能夠對輸入的數據進行正確、精確的分類。 解答的正

5、確性和質量：無論是用于分類的，還是解決問題的系統(tǒng)都有解答正確性問題。同時，正確性不一定保證有好的質量，好的質量包括：可讀性、穩(wěn)定性等多方面的因素。 學習的速度：學習速度是一個很重要的系統(tǒng)指標。它不僅僅影響系統(tǒng)的設計，同時，影響系統(tǒng)的實現。一個很費時的學習方法，某種意義上也是很難實現的。因為，通?；ㄙM大量時間所進行的操作表現在對學習樣本量的要求、系統(tǒng)空間的要求、系統(tǒng)硬件性能的要求上。,6,,環(huán)境,學習環(huán)節(jié),,知識庫,執(zhí)行環(huán)節(jié),,,,,,

6、,學習是建立理論、形成假設和進行歸納推理的過程。 整個過程包括：信息的存儲、知識的處理兩部分,三、機器學習模型,學習系統(tǒng),學習系統(tǒng)所感知到的外界信息集合，也是學習系統(tǒng)的外界來源,對環(huán)境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫,存儲經過加工后的信息（即知識）,根據知識庫去執(zhí)行一系列任務，并將執(zhí)行結果或執(zhí)行過程中獲得的信息反饋給學習環(huán)節(jié),,,,,學習模型,輸入x,輸出,約束條件,機器學習的分類,根據是否需要已知類別

7、的樣本進行學習，機器學習可以分為兩大類： 有教師學習（監(jiān)督學習）無教師學習（非監(jiān)督學習和強化學習）,監(jiān)督學習supervised learning,利用已知類別的樣本去訓練算法從而調整分類器的參數，這樣的學習過程叫做監(jiān)督學習。監(jiān)督學習的任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個很好的預測。常見的監(jiān)督學習算法有：決策樹adbost算法樸素貝葉斯算法回歸算法支持向量機,,,,訓練集,學習系統(tǒng),

8、測試系統(tǒng),測試集,模型,測試結果,監(jiān)督學習示意圖,,上表是用于區(qū)分不同鳥類需要使用的四個不同的屬性值，分別選取的是體重、翼展、腳蹼和后背顏色作為評測基準。這些測量的四種值成為特征，也叫屬性。,,數據X={x1,x2,x3,x4} 表示一組數據標簽label Y={y1,y2,y3,y4}訓練集 T={(x1,y1),(x2,y2),(x3,y3)}測試集 {(x4,y4)}特征損失函數，訓練誤差，測試誤差經驗風險最小化與結

9、構風險最小化交叉驗證,選取特定的機器學習算法進行分類，首先需要做的是訓練算法，既學習如何分類。通常我們?yōu)樗惴ㄝ斎氪罅恳逊诸悢祿鳛樗惴ǖ挠柧毤?。訓練集就是用于訓練機器學習算法的數據樣本集合，表1是包含5個樣本集合的訓練集，每個訓練樣本有4中特征和一個目標變量，目標變量是機器學習算法的預測結果既F(x)，其中x為一組輸入樣本。,損失函數,在監(jiān)督學習中，給定x，根據F(x)給出相應的輸出，而這個輸出是預測輸出，和真實值y可能一致，也可能

10、不一致。用一個損失函數或者代價函數來度量預測錯誤的程度。損失函數是F（x）和y的非負值函數，記做L(y,F(x))。,常用的損失函數,（1） 0-1損失函數（2） 平方損失函數 （3） 絕對損失函數 （4）對數損失函數,經驗風險最小化與結構風險最小化,經驗風險最小化的策略認為，經驗風險最小的模型是最優(yōu)模型結構風險最小化 是為了防止過擬合而提出的策略。結構風險在經驗風險的上加上表示模型復

11、雜度的正則化項或者說是懲罰項 min R(f),奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并且十分簡單的次啊是最好的模型，也是應該選擇的模型。,如果給定的樣本數據充足，進行模型選擇的一種簡單方法就是隨機地將數據切分成三部分，分別為訓練集，驗證集和測試集。訓練集用來訓練模型，驗證機用于模型選擇，測試集用于最終對學習方法的評估。在學習到不同的復雜度的模型中，選擇對驗證集有最小預測誤差的模型

12、。 但是，許多實際應用中數據并不是充分的，為了選擇好的模型，可以采用交叉驗證的方法。交叉驗證的基本思想是重復的使用數據；把給定的數據進行切分，將切分的數據集組合成訓練集與測試集，在此基礎上反復地進行訓練，測試以及模型的選擇。,交叉驗證,（1）簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作為訓練集，另一部分最為測試集；然后用訓練集在各種條件下訓練模型，從而得到不同的模型，在測試集上評價各個模型的測試誤差，

13、選出測試誤差最小的模型（2）S折交叉驗證：首先隨機的把已給的數據切分成s個互不相交的大小相同的子集，然后利用s-1個子集的數據訓練模型，利用余下的自己測試模型；重復的隨機選擇訓練子集，最后選出評測中平均測試誤差最小的模型（3）留一交叉驗證：當S=N時，成為留一交叉驗證，這往往在數據缺乏的時候使用。,交叉驗證,樸素貝葉斯算法,貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統(tǒng)稱為貝葉斯分類假設一個樣本集的數據分類

14、兩類。P1(x,y)表示數據點（x y）屬于類別1的概率，p2(x,y)表示數據點 （x y）屬于類別2的概率 如果p1(x,y)>p2(x,y) 則數據（x y）屬于類別1 如果p1(x,y)<p2(x,y) 則數據（x y）屬于類別2,貝葉斯分類的基礎——貝葉斯定理,基本流程,1、設 為一個待分類項，而每個a為x的一個特征屬性。2 有類別集合 

15、3 計算 4 求出最大的 則x劃分為類別,,,某個醫(yī)院早上收了六個門診病人，如下表?！　“Y狀　　職業(yè) 疾病　　打噴嚏　護士　　　感冒 　　打噴嚏　農夫　　　過敏 　　頭痛　　建筑工人　腦震蕩 　　頭痛　　建筑工人　感冒 　　打噴嚏　教師　　　感冒 　　頭痛　　教師　　　腦震蕩現在又來了第七個病人，是一個打噴嚏的建筑工人。

16、請問他患上感冒的概率有多大？,,P(感冒|打噴嚏x建筑工人) = P(打噴嚏x建筑工人|感冒) x P(感冒) 　　　　/ P(打噴嚏x建筑工人)打噴嚏"和"建筑工人"這兩個特征是獨立的,,P(感冒|打噴嚏x建筑工人) = P(打噴嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打噴嚏) x P(建筑工人),,P(感冒|打噴嚏x建筑工人)

17、0;　　　　= 0.66 x 0.33 x 0.5 / 0.5 x 0.33 　　　　= 0.66因此，這個打噴嚏的建筑工人，有66%的概率是得了感冒。同理，可以計算這個病人患上過敏或腦震蕩的概率。比較這幾個概率，就可以知道他最可能得什么病。這就是貝葉斯分類器的基本方法：在統(tǒng)計資料的基礎上，依據某些特征，計算各個類別的概率，從而實現分類。,基于樸素貝葉斯的文本分類,首先需要拆分文本以便從中獲取特征（詞條），一個詞條是任

18、意字符的組合。,,,將W 作為一個個獨立的特征，上述公式可寫成,假設所有詞都相互獨立（獨立性加色）,訓練階段,創(chuàng)建包含所有文檔中出現的不重復的詞列表['cute' 'love' 'help' 'garbage' 'quit' 'I' 'problems' 'is' 'park' 'st

19、op' 'flea' 'dalmation' 'licks' 'food' 'not' 'him' 'buying' 'posting' 'has' 'worthless' 'ate' 'to' 'maybe' 'p

20、lease' 'dog' 'how' 'stupid' 'so' 'take' 'mr' 'steak' 'my']然后將每一個文本片段表示為一個詞條向量，1表示詞條出現在文檔中，0表示未出現。[0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 1 0

21、0 0 0 0 0 1]給出一個新的文檔 ,計算,,通過訓練集，對算法進行訓練 得出P1，P2。,測試階段,給定一個測試詞條，轉換成詞條向量計算 = =比較

22、 大小。,優(yōu)點： 在數據較少的情況下仍然有效，可以處理多類別問題缺點：對于輸入數據的準備方式比較敏感。,決策樹學習,,決策樹,在示例學習中，每一個概念實際上可以看成是例子中所屬的一個類別,,,可以看做是一個對目標分類的劃分和獲取策略,由一個根結點，若干葉結點和非葉結點構成。根結點對應于學習任務，分類的開始。每個葉結點都包含一個分類名(概念

23、)，表示一個實例的結束。每個非葉結點都包含表示相應實例中的某一屬性。邊代表某一屬性可能的屬性值。,決策樹,從根節(jié)點到葉節(jié)點的每一條路徑都代表一個具體的實例同一路徑上的所有屬性之間為合取關系，不同路徑（即一個屬性的不同屬性值）之間為析取關系。決策樹的分類過程就是從這棵樹的根接點開始，按照給定的事例的屬性值去測試對應的樹枝，并依次下移，直至到達某個葉節(jié)點為止。,關于決策樹：,,可表示為如下規(guī)則集： IF 鳥類會飛 AN

24、D 是家養(yǎng)的 THEN 該鳥類可能是和平鴿 IF 鳥類會飛 AND 不是家養(yǎng)的 THEN 該鳥類可能是信天翁 IF 鳥類不會飛 AND 會游泳 THEN 該鳥類可能是企鵝 IF 鳥類不會飛 AND 不會游泳 THEN 該鳥類可能是鴕鳥,決策樹還可以表示成規(guī)則的形式,昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵（entropy）的下降速度作為屬性選擇

25、標準的一種學習算法。輸入是一個用來描述各種已知類別的例子集學習結果是一棵用于進行分類的決策樹,ID3 算法 ：,1.令根結點包含例子集中所有實例。2.如果每個葉結點包含的例子都屬于同一分類，則停止劃分。3.否則需對葉結點進行進一步劃分： (1)需要進一步劃分的葉結點所包含的例子組成子例子集S。 (2)找出對S來說E值最小的屬性abest。 (3)根據屬性abest的值對S進行劃分，每個值將生成一個分枝。

26、 (4) 執(zhí)行步驟2。,,通過E值可以找出一個最有利于當前劃分的屬性,ID3 算法 ：,,E是一個基于熵(平均信息量)的函數，該函數評 價用各屬性進行分類所能獲得的信息量，選擇E 值最小即獲得信息量最大的屬性。,ID3 算法,S中屬性ai的值為vij的正例數目,Nj-為屬性ai的值為vij的反例數目,熵,熵是研究不確定人工智能的一個重要參數,熵的歷史可以追溯到19世紀。1864年德國物理學家克勞修斯在研究熱力學時首先提出熵

27、的概念：,1877年，玻爾茲曼又給出了熵的統(tǒng)計學新定義——玻爾茲曼公式，即S=klnW;k為玻爾茲曼常數；W是某一宏觀態(tài)所對應的微觀態(tài)數目，即該微觀態(tài)的熱力學幾率,1948年，香農將熵的定義引入信息領域：信息熵,設一個系統(tǒng)X由多個事件|Xi|（i=1，2,…,n）組成，事件Xi的概率為p(Xi)，那么信息熵定義為：,信息熵的定義：,信息熵大，說明什么？,例：給出概率分布,其信息熵分別為：,信息熵越大，不確定性程度越大 信息熵表示事件

28、集X中事件出現的平均不確定性 當X中事件出現的概率相等時，信息熵達到最大值,,E是一個基于熵(平均信息量)的函數，該函數評 價用各屬性進行分類所能獲得的信息量，選擇E 值最小即獲得信息量最大的屬性。,ID3 算法：,S中屬性ai的值為vij的正例數目,Nj-為屬性ai的值為vij的反例數目,危險,狗的例子集,E顏色.棕色＝ E顏色.黑色＝,,,∴ E顏色＝5.510＋5.510＝11.020,,顏色=棕色的狗：4只是危險

29、的，2只不是危險的。顏色=黑色的狗：2只是危險的，4只不是危險的。,E體形.大＝E體形.中＝E體形.?。?,,∴ E體形＝3.245＋3.245＝6.490,體形=大的4條狗全是危險的；體形=中/小的狗：1條是危險的；3條不是危險的。,ID3 算法,E毛型.光滑＝ E毛型.卷毛＝,∴E毛型＝6＋6＝12,,,毛型=光滑的狗：3條是危險的；3條不是危險的。毛型=卷毛的狗：3條是危險的；3條不是危險的。,因此，

30、E體形< E顏色< E毛型,現在必須對“中”“小”這兩個分枝的實例重復上述計算過程。,,E顏色＝4 和 E毛型＝6.490,現在只有“體形”為“中”和“小”的“棕色”狗還沒有明確類別，需用“毛型”來進一步劃分。,,,需要的匹配次數：24,,需要的匹配次數：36,決策樹的優(yōu)點,可以生成可以理解的規(guī)則；計算量相對來說不是很大；可以處理連續(xù)和離散字段；決策樹可以清晰的顯示哪些字段比較重要。,AdaBoost元算法,當需要做

31、出重要決定的時候，大家往往會聽取多個人的意見而不是一個人的意見，元算法就是采用這種思想。,機器學習種類繁多，各有優(yōu)缺點。我們自然可以將不同的分類器組合起來，而這種組合結果稱為集成算法，或者元算法。,集成方法有很多形式：可以是不同算法的集成，也可以是同一算法在不同設置下的集成，還可以是數據集不同部分分配給不同分類器之后的集成。,基于數據隨機重抽樣的分類器構建方法,自舉匯聚法，也稱bagging方法，是在原始數據集選擇s次后得到s個新數據集

32、的方法。新數據集和原數據集相等，每個數據集都是通過在原始數據集中隨機選取一個樣本進行替換而得到的。這里的替換意味著可以多次選擇同一個樣本。,在s個數據建好之后，將某個學習算法分別作用于每個數據集就得到s個分類器。當要對新數據進行分類的時候，需要應用s個分類器進行分類，選擇分類器投票結果中最多的類別作為最后的分類結果。,另一與bagging類似的技術是boosting技術。前者在訓練中，不同的訓練器是通過串行訓練而獲得的，每個分類器都根據

33、已訓練出的分類器的性能來進行訓練。而boosting是通過集中關注已有分類器錯分的哪些數據獲得新的分類器。,Boosting方法種類很多，其中最流行的就是AdaBoost算法。,,,,,,,,,,,,,,,,,,分類器2,分類器1,分類器3,∑,,,0.69,0.90,0.97,AdaBoost元算法,思想：使用弱分類器和過個實例來構建一個強分類器基本過程：訓練數據中的每個樣本，并賦予一個權重，這些權重構成了向量D，以及分類器的權值。

34、一開始，這些權重初始化成相等的值。首先在訓練數據上訓練出一個弱分類器并計算該分類器的錯誤率，然后再同一數據集上再次訓練弱分類器。在分類器的第二次訓練當中，將會重新調整每個樣本的權重，使分對的樣本權重變低，分錯的樣本權重變高，同時更新分類器的權值，以此類推。,,其中α是根據錯誤率ε進行計算的，錯誤率ε定義如下：而α的計算公式如下：計算出α的值后，可以對權值向量D進行調整，使那些正確分類的樣本權值變低，錯誤分類的樣本權值變高。如果

35、一個樣本被正確分類，則其權值被更改為：反之：,,假設訓練出m個分類器，最終的分類結果等于：,,圖中，“+”和“-”分別表示兩種類別，在這個過程中，我們使用水平或者垂直的直線作為分類器，來進行分類。,,第一步：　根據分類的正確率，得到一個新的樣本分布D2­，一個子分類器h1其中： 　其中劃圈的樣本表示被分錯的。在右邊的途中，比較大的“+”表示對該樣本做了加權，,,第二步：根據分類的正確率，得到一

36、個新的樣本分布D3，一個子分類器h2,,第三步：得到一個子分類器h3,,整合所有的子分類器：,Adaboost優(yōu)點,1)adaboost是一種有很高精度的分類器2)可以使用各種方法構建子分類器，adaboost算法提供的是框架 3)當使用簡單分類器時，計算出的結果是可以理解的。而且弱分類器構造極其簡單 4)簡單，不用做特征篩選5)不用擔心overfitting！,回歸,回歸的目的就是預測數值型的目標

37、值。總成績=0.6*期末成績+0.2*期中成績+0.2*平時成績這就是回歸方程，其中0.6 0.2 0.2就是回歸系數，求這些回歸系數的過程就是回歸。假設我們有一組數據{X,Y}，X={x1,x2,…,xm},Y={y1,y2,…,ym},對error求導，并令其等于零，解出,,,局部加權線性回歸：給待測點附近每個點一個權重。,,K=1,K=0.01,K=0.003,,如果特征比樣本數還多（n>m）,輸入矩陣X不是滿秩矩陣，

38、而非滿秩矩陣在求逆會出現問題。為了解決這個問題，引入了嶺回歸的概念。,,嶺回歸就是在矩陣 上加上一 個 矩陣，使其非奇異。矩陣I 是一個m*m的單位矩陣，對角線上為1，其他元素為0. 是自定義的一個參數。,Logistic回歸,,,假設現在有一些數據點，我們用一條直線對這些點擬合（最佳擬合直線），這個擬合的過程就叫回歸。根據現有數據對分類邊界線簡歷回歸公式，以此進行分類，訓練分類器時的做法

39、就是尋找最佳擬合參數。,我們想要的函數應該是能夠接受所有的輸入然后預測出類別。在兩類的情況下，函數應該輸出0或1.有很多單位躍階函數（海維賽德躍階函數）。然而，這種函數在跳躍點上從0瞬間跳到1上，這個瞬間躍階很難處理好Sigmoid函數 當x為0時，函數值為0.5，隨著x增大，函數值增大并逼近于1，x減小，函數值減小并逼近于0.,,如果采用向量

40、的方法寫,X就是輸入數據， 就是需要進行訓練的參數。通過訓練后找到最優(yōu)化的參數,梯度上升法,基本思想：想找到某函數的最大值，最好的方法是沿著該函數的梯度方向探尋。,梯度上升算法的迭代公式：,,,,每個回歸系數初始化為1重復N次：計算整個數據集的梯度使用 更新回歸系數返回回歸系數,,,,W=[4.120711455781440, 0.4797796

41、32289162, -0.616416051893343],這個分類結果只錯分了4個點，分類精度相當不錯。但是這個方法需要大量的計算，不適用于大規(guī)模的數據。,神經網絡,人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的復雜程度，通

42、過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。,,,86,,連接權值,87,,改變權值的過程就是學習的過程,88,,規(guī)律？,89,The Hebb Rule,D. Hebb, 1904-1985.Degree in English, 1925.Master degree in psychology at McGill University.Ph.D. from Harvard in 1936.Moved to Y

43、erkes Lab in 1942.Published “The Organization of Behavior” in 1949.,90,Hebb Rule,,,,,,,,,,,,,,synapse,Hebb 規(guī)則是最早的神經網絡學習規(guī)則之一，其最關鍵的一條假設：若一條突觸兩側的兩個神經元同時被激活，那么突觸的強度將增大。,91,,權值W 不僅僅在 a，p 全為正數增大，在 全為負數時也增大,92,Hebb 規(guī)則,如果兩個神經

44、元的突觸同時激活，那么它們之間的連接強度會增加,93,自聯(lián)想存儲器– 學習規(guī)則,,Supervised Hebbian Learning,94,Matrix Form:,(Zero InitialWeights),學習規(guī)則,95,,,,P1 P2 P3,P,,,？,96,P,P3,P2,P1,,Inputs:,Outputs:,Input:,Output: ???,

45、97,,基于heb神經網絡的PCA,傳統(tǒng)PCA算法的缺點： 需要大量的計算 屬于批量學習基于神經網絡的PCA的優(yōu)點： 不需要計算協(xié)方差矩陣 屬于在線學習,99,基于hebb規(guī)則的權值更新公式：,,數據集,,基于hebb規(guī)則的神經網絡已被證明 當迭代次數無窮大時，方差趨向于,,,64 pages,102,Sanger proposed the Ge

46、neralized Hebbian Algorithm (GHA),多維壓縮,64 pages,103,GHA Learning Algorithm,64 pages,104,2維壓縮,(Oja Algorithm based onHebb rules),第一個輸出神經元權值向量,第二個輸出神經元權值向量,64 pages,105,,…,…,感知機,感知器是用于線性可分模式分類的最簡單的神經網絡.它由一個具有可調突觸權值和偏置的神經元

47、組成。,,,,…,X1X2xm,,w1,w2,wm,,偏置b,,,v,Φ（·）,輸出Y,感知器權值自適應公式,1.假如訓練成員第N個成員x(n)根據算法中的第N次迭代的權值向量w(n)能正確分類，那么感知器的權值向量不做修改2.否則，感知器的權值向量根據以下規(guī)則進行修改: w(n+1)=w(n)-η(n)x(n) 假如預測結果為1，實際屬于類2 w(n+1)=w(n)+η(n

48、)x(n) 假如預測結果為2，實際屬于類1這里η(n)是學習參數，控制這第n次迭代中作用于權值向量的調節(jié),BP神經網絡,反向傳播算法也稱BP算法。由于這種算法在本質上是一種神經網絡學習的數學模型，所以，有時也稱為BP模型。BP算法是為了解決多層前向神經網絡的權系數優(yōu)化而提出來的；所以，BP算法也通常暗示著神經網絡的拓撲結構是一種無反饋的多層前向網絡。故而．有時也稱無反饋多層前向網絡為BP模型。,基本原理：利用輸出后的誤差來估計輸

49、出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計,BP神經網絡,,,,,具有一層隱藏層的多層感知器,函數信號的前向傳播和誤差信號的反向傳播,BP模型的學習過程,反向傳播算法分二步進行，即正向傳播和反向傳播。這兩個過程的工作簡述如下。1．正向傳播輸入的樣本從輸入層經過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經元的狀態(tài)只對下一層神

50、經元的狀態(tài)產生影響。在輸出層把現行輸出和期望輸出進行比較，如果現行輸出不等于期望輸出，則進入反向傳播過程。2．反向傳播反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數進行修改，以望誤差信號趨向最小。步驟1,2不斷循環(huán) 直到網絡輸出誤差減少到可接受程度或者進行到預先設定的次數為止。,自組織映射,當人腦接收外界的時空信息時，大腦皮層的特定區(qū)域會興奮，而且類似的外界信息在對應的區(qū)域是連續(xù)的。因此Koh

51、onen認為，一個神經網絡在接受外界輸入模式時，將會分為不同的對應區(qū)域，且各個區(qū)域對輸入模式有不同的響應特征，而且這個特征是自動完成的。SOFM只有兩層：輸入層和競爭層，競爭層神經元的排列有多種形式：一維線陣、二維平面、三維柵格等等。,權值調整方法是在勝者為王基礎上改進的，即優(yōu)勝領域內的神經元都可以調整權值。理論上應該是離勝者越近，學習率的越大，但是為簡化計算，實際中優(yōu)勝領域內一般取相同的學習率。優(yōu)勝領域開始定的很大，隨著訓練次

52、數的增加，最終應該收縮到0。 SOFM分為訓練階段和工作階段，要訓練階段，權向量被訓練為輸入樣本空間的聚類中心。在工作階段，當輸入向量與某個競爭層的內星權值相似時，自然會被分到對應的聚類上去。因此SOFM可用作模式分類器。注意當輸入模式在訓練集中從未出現過時，SOFM網只能將它歸入最接近的模式分類中去。,自組織映射主要有三個過程：1.競爭。對每個輸入模式，網絡中的神經元計算它們各自判別的函數值。具有最大函數值的特定神經元成為競爭的

53、勝利者2.合作。獲勝神經元決定興奮神經元的拓撲鄰域的空間位置，從而提供這樣的相鄰神經元合作的基礎3.突觸調節(jié)。使興奮神經元通過對它們的突觸權值進行適當的調節(jié)以增強它們關于該輸入模式的判別函數值。所做的調節(jié)是獲勝神經元對以后相似的輸入模式響應增強了。,遞歸神經網絡,神經網絡的特點,1)可以充分逼近任意復雜的非線性關系； (2)所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，故有很強的魯棒性和容錯性； (3