主題模型的在線消息傳遞算法研究.pdf

1、在線學習是指一個學習系統(tǒng)能不斷地從新樣本中學習到新的知識，并且還能夠保留大部分以前已經學習到的知識。在當今數字化信息時代，隨著各行各業(yè)數據規(guī)模的不斷增加，對時間和空間資源的需求也在不斷增加，所以研究在線學習就成為一種迫切需求。目前主題模型的在線學習算法在精度和速度上都不是很理想，因此本文以海量數據和流數據為研究對象，著重研究基于概率潛在語義分析（PLSA）模型和潛在狄利克雷分布（LDA）模型更高效的在線學習算法，其創(chuàng)新點主要體現在以下幾

2、個方面：
　　1）針對當前所面臨的海量數據和流數據，離線算法會因為內存不足和數據集不能完整獲取而無法解決文檔分類的問題，因此本文提出的在線學習算法首先對海量數據進行切分，然后對切分后的若干獨立段逐個訓練，并且采用前段的結果參數計算當前數據段的梯度下降。
　　2）提出基于PLSA模型改進因子圖表示的在線消息傳遞（OBP）算法。PLSA模型是一種簡單的文檔分類方法，然而針對海量數據和流數據，PLSA模型無法繼續(xù)采用傳統(tǒng)的離線算法

3、解決文檔分類的問題，雖然現在已經提出相應的在線學習算法，但是仍然不能滿足快速和準確的要求，所以本文提出了基于PLSA模型改進因子圖表示的OBP算法。四組公共大規(guī)模數據集和三組百度真實海量數據集上的實驗，都表明在時間和空間復雜度上OBP算法均優(yōu)越于當前所流行的基于PLSA模型的OEM算法。
　　3）提出基于LDA模型改進因子圖表示的在線消息傳遞（OBP）算法。針對PLSA模型在處理海量數據時，模型中參數的個數隨文檔數和單詞數呈線性增

4、長，從而導致PLSA模型的在線學習算法在處理海量數據時非常復雜這一問題，因此本文提出了基于LDA模型改進因子圖表示的OBP算法，并且從理論上證明了OBP算法的收斂性，通過實驗驗證該算法的高效性。
　　4）提出了在線消息傳遞的主題追蹤算法。針對訓練的過程中因數據流不斷地流入，導致每段的主題也跟隨著不斷的變化這一問題，本文提出了在線消息傳遞的主題追蹤算法。算法通過對流數據的不斷訓練，給出當前最熱冷門主題，并更準確地預測各個主題的變化趨