一種短文本主題建模方法.pdf

1、隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展，主題模型作為近些年來在文本挖掘中出現(xiàn)的一種概率模型逐漸成為了國內外的研究熱點，其應用幾乎覆蓋了文本挖掘和信息處理的所有領域。
　　 短文本可分為一般短文和以論文標題、新聞標題為代表的關鍵詞短文兩種形式，在一篇關鍵詞短文中，每個單詞都具有相同的權重，故而單詞在文本中的出現(xiàn)頻率并不重要，針對這一特性，本文提出了關鍵詞短文本數(shù)據(jù)集中的單詞相似度計算方法，并將單詞相似度與PLSA主題模型相結合，進而提出了Sim

2、ilarity-based PLSA主題模型，簡稱SPLSA，該模型引入了兩項可以顯著提高建模質量和性能的措施：1)首先基于單詞相似度提出主題純度這一概念，用以衡量建模結果中每個主題特征明顯的程度，并依據(jù)主題純度對原始主題集合進行篩選，從而得到高質量的建模結果；2)引入單詞權威值用以衡量一個單詞能夠代表一個主題的能力，并據(jù)此對概率矩陣進行初始化，從而使得初始化后的每個主題即具備一定主題特征，并且主題之間不會出現(xiàn)特征交叉，同時還可以使用更