貝葉斯網(wǎng)絡結構學習及MBNC實驗平臺的構建.pdf

1、隨著信息技術的發(fā)展,數(shù)據(jù)挖掘技術廣泛應用于實際運用中,貝葉斯網(wǎng)絡作為一種有效的知識表示方式和概率推理模型,是處理不確定性的強有力圖形決策化分析工具?，F(xiàn)實世界中存在著海量數(shù)據(jù),如何處理這些數(shù)據(jù),并從中發(fā)現(xiàn)有用的知識具有現(xiàn)實意義。貝葉斯網(wǎng)絡是一個帶有概率注釋的有向無環(huán)圖,由網(wǎng)絡的拓撲結構和局部概率分布兩部分組成。本文先簡要闡述了貝葉斯網(wǎng)絡有三大理論問題:貝葉斯網(wǎng)絡的表示,學習和推理。近年來,基于貝葉斯網(wǎng)絡的數(shù)據(jù)挖掘在一些數(shù)據(jù)建模問題中取得了

2、較好的效果。用于分類的貝葉斯網(wǎng)絡叫做貝葉斯分類器。貝葉斯分類器是特殊形式的貝葉斯網(wǎng)絡,變量的選取和狀態(tài)數(shù)均已確定,屬性結點已知,類結點未知。貝葉斯分類器家族有三類常見的分類器:樸素貝葉斯分類器NBC,樹擴展樸素貝葉斯分類器TANC和貝葉斯網(wǎng)絡分類器BNC。貝葉斯分類器的學習包括結構學習和參數(shù)學習,參數(shù)學習相對簡單一些。建構貝葉斯分類器是本文要解決的問題。現(xiàn)在比較常用的主要有Java Bayes軟件包,Hugin Expert,Power

3、 Constructor,MSBNx,Netica等。這幾種軟件包作者均已下載研究使用,其中Hugin Expert等是限制版本,只相當于一個應用程序,而Power Constructor,MSBNx,Netica等均不提供源代碼,無法在其之上完成新算法實現(xiàn)?；贘ava語言的Java Bayes軟件包提供了源代碼,WEKA系統(tǒng)和JBNC系統(tǒng)是用Java語言開發(fā)的,但用Java語言編程的工作量很大,調試程序比較困難,系統(tǒng)的可擴展性較差。

4、尤其是涉及到的數(shù)理統(tǒng)計方面的程序,已有的源代碼的可讀性較差,對所定義的多維數(shù)組操作繁瑣易錯。生成的結構需要調用第三方軟件才能顯示。其他下載的貝葉斯網(wǎng)絡學習軟件包也有同樣的問題?；贛atlab語言的BN Toolkit(BNT)軟件包可以很好的解決上述問題。Matlab語言是專門進行數(shù)值計算的高級語言,編程量較之Java語言等明顯少的多,調試程序也很方便,顯示所學習得到的結構也很方便。BNT的缺點是沒用圖形用戶界面GUI。最終用BNT提

5、供的基本函數(shù),用Matlab語言開發(fā)了MBNC實驗平臺。先在MBNC實驗平臺上簡單實現(xiàn)了幾種貝葉斯分類器。有NBC,基于互信息測度的TANC以及基于K2算法和GS算法的BNC。所建構的這些分類器的準確性評估好于文獻數(shù)據(jù),實驗數(shù)據(jù)表明:用在數(shù)理統(tǒng)計上天然的優(yōu)越性的Matlab語言建構的分類器性能是非常好。MBNC試驗平臺的可擴展性也很好,進一步進行新的研究比較方便。完全的貝葉斯網(wǎng)絡的結構學習是一個NP難問題,很多學者提出了近似算法,取得了

6、較好的效果。本文對貝葉斯分類器結構學習進行改進,NBC不需要學習結構,我們的工作是TANC和BNC結構學習算法的改進,新算法在MBNC實驗平臺上進行了驗證。衡量算法優(yōu)劣的標準是所構建的貝葉斯分類器的準確性評估。用從UCI上下載的標準數(shù)據(jù)集進行評估。對TANC結構學習的改進是引入了新的測度函數(shù)貝葉斯信息標準BIC測度,原有的互信息MI測度是相關性測試的標準,BIC測度用于基于打分和搜索的結構學習取得了成功。用BIC測度學習結點對之間的關系

7、,再建構最大權重跨度樹,從而學習得到TANC結構。我們實現(xiàn)了TANC-BIC和TANC-CBIC兩種分類器,實驗結果表明:新的算法與基于MI測度的TANC-MI和TANC-CMI分類器分類效果相當,在某些數(shù)據(jù)集中還更優(yōu)些。對于BNC結構學習,K2算法中結點次序的確定是一個NP難問題,而GS算法的時間開銷很長。本文提出了基于啟發(fā)式的G2算法,即用啟發(fā)式思想來學習結點的次序,再用K2算法的得出網(wǎng)絡結構。用NB結構和四種TAN結構作為啟發(fā)式信

8、息,實現(xiàn)了五種分類器模型,分別是G2-NB,G2-MI,G2-CMI,G2-BIC,G2-CBIC。同樣也在MBNC下編程實現(xiàn)了這些算法。實驗結果表明:學習得到的結點次序是比較優(yōu)化的,分類效果比較好。該算法較好地解決了K2算法的瓶頸問題。不需要用戶確定結點次序,限制可行解的搜索空間,從而加速了問題的求解過程,所添加的弧比較簡潔,網(wǎng)絡結構更加合理。對GS算法的優(yōu)化正在研究之中。MBNC實驗平臺可以用來進行文本分類,我們研究文本分類中的特征