基于Spark的輿情分析架構研究.pdf

1、輿情分析通過對互聯網海量信息進行自動抓取、自動分類聚類等技術，形成簡報、圖表等分析結果，為客戶全面掌握群眾思想動態(tài)，做出正確輿論引導提供分析依據。隨著移動互聯網、電子商務、社交網絡等互聯網新興技術普及和應用,互聯網用戶呈現爆炸性增長。因此,高效海量數據處理架構對輿情分析具有重要研究意義。
　　本文結合新浪微博，基于大數據處理技術，探討了構建基于Spark的輿情分析架構的可行性。論文主要做了以下幾方面工作:1、設計整體架構，搭建Ha

2、doop分布式平臺對海量數據進行存儲和處理，通過分布式列式數據庫HBase和Lucene相結合，在滿足海量數據存儲的基礎上，提高了數據檢索和讀寫性能。2、在數據采集模塊，針對當今廣泛使用的模擬登陸和基于API采集方案的缺陷，設計一個高效穩(wěn)定的數據采集方案，具體包括通過內存數據庫Redis來控制待爬隊列、更新隊列和已爬集合，在避免重復采集的同時能及時對數據進行更新;針對IP限制問題，提出流動性的代理池機制，通過池中代理不斷調度更新，使得池

3、中代理能針對不同網頁而發(fā)揮其最大功效，同時保證數據抓取的高效性和穩(wěn)定性，提高采集效率。3、為從本質上突破Hadoop在文本聚類上的瓶頸，本文在文本聚類模塊中使用基于Spark的改進K-means算法實現。具體包括在預處理階段，針對微博特征項比較少的缺點，使用word2vec工具對特征項進行擴展;在K值選擇和簇心初始化問題上優(yōu)化K-means算法，并將Spark框架應用于優(yōu)化的K-means算法，對文本數據進行并行處理，使得架構在文本聚類

4、上更加高效快捷，從而提高整個架構的性能。4、針對架構提出一種基于資源信息增益的瓶頸檢測方法。該方法通過監(jiān)控集群的響應滿意度(Response Satisfaction，RS)來發(fā)現瓶頸的出現，然后通過資源使用率和響應滿意度樣本計算各類資源的信息增益，以確定具體的瓶頸資源。
　　輿情分析作為愈發(fā)強大的社會建設力量，網絡輿情已經成為一股不容忽視的社會力量。故對網絡輿情的分析對社會發(fā)展具有重要意義其在應用和研究上都有著巨大的前景，故對輿