基于MapReduce的熱點話題發(fā)現及演化分析方法研究.pdf

1、隨著信息時代的來臨，網絡中的信息量呈爆炸式增長趨勢，人們是對信息的處理提出了更高的要求。更多、更快、更準的進行信息處理就意味著可以掌握先機，可以得到更具有價值的情報，可以產生更大的經濟效益。話題發(fā)現及演化作為增量式文本聚類的主要應用之一，具有很廣泛的應用前景，在大數據背景下，現有的增量式文本聚類算法大多存在處理效率低下，處理結果較差等問題，很大程度上影響了話題發(fā)現的實時性，已經遠遠不能滿足處理大數據的需求。
　　本文首先介紹了熱點

2、話題發(fā)現的關鍵技術流程，比較了現有話題發(fā)現及演化算法的優(yōu)勢與不足，最終選擇利用增量式文本聚類算法 S ingle-Pass來實現熱點話題發(fā)現及演化分析方法，本文針對傳統(tǒng) S ingle-Pass算法處理文本的時間開銷會隨著文本增加呈指數趨勢增長的問題，提出了一種基于MapRed uce的S ingle-Pass算法，對分布式的S ingle-Pass算法做進行了可行性證明，實驗結果證明算法的效率有了明顯提高，針對簡單的分布式 S ing

3、le-Pass算法無法詳細描述話題的內部結構及演化過程，提出了一種分布式條件下的層次化 S ingle-Pass算法，算法提高了話題的描述能力，實驗證明分布式條件下的層次化 S ingle-Pass算法提高話題發(fā)現的精度和準確度。
　　其次，本文分析了現有網頁文本的特點，根據網頁文本的特點提出了一種合理的話題熱度計算方法，通過加入衰減指數和時間片的概念，提出增量式文本聚類與衰減指數相結合的話題動態(tài)演化方法，通過話題熱度計算公式計算