互聯(lián)網(wǎng)輿情信息采集與分析系統(tǒng)的設計和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)快速的發(fā)展，互聯(lián)網(wǎng)日益成為輿情產(chǎn)生、傳播的重要媒介。越來越多的人，通過互聯(lián)網(wǎng)表達政治訴求，從互聯(lián)網(wǎng)這一自由開放的媒體中了解民意，開展互聯(lián)網(wǎng)輿情信息的監(jiān)控與分析，已經(jīng)成為目前各級政府部門面臨的重要課題。互聯(lián)網(wǎng)輿情信息采集與分析系統(tǒng)就是應對這一發(fā)展勢頭，為互聯(lián)網(wǎng)輿情分析提供基礎性的數(shù)據(jù)和工具集合，幫助輿情分析領域的社會科學專家分析互聯(lián)網(wǎng)輿情指數(shù)，捕捉敏感事件，分析民意走向。
　　本文按照互聯(lián)網(wǎng)輿情信息存在的特征，綜合運用多種

2、軟件設計模式，設計了針對互聯(lián)網(wǎng)輿情采集的網(wǎng)絡爬蟲模塊。本模塊實現(xiàn)了獨立運作的多機多進程的網(wǎng)絡爬蟲功能。該功能針對承載輿情信息的主要互聯(lián)網(wǎng)媒體——論壇、新聞、博客、社交媒體等的采集過程進行了優(yōu)化，配置了靈活的采集策略，設計了通過人工制定信息提取腳本對網(wǎng)頁數(shù)據(jù)進行結構化信息提取的方法。該模塊為后面的輿情分析模塊源源不斷的提供最新的互聯(lián)網(wǎng)信息。
　　本文根據(jù)互聯(lián)網(wǎng)輿情信息分析的需求，結合由網(wǎng)絡爬蟲模塊獲取的結構化信息，設計了輿情分析模塊

3、。輿情分析模塊結合了中文信息處理領域的若干技術，包括文本自動摘要技術、信息指紋技術、文本分類技術、文本聚類技術等，為輿情分析領域專家提供了一組輿情分析工具。該功能實現(xiàn)了自動輿情分類、自動摘要提取、自動轉載統(tǒng)計、自動指數(shù)統(tǒng)計、熱門主題發(fā)現(xiàn)等功能。通過領域專家對結果進行人工鑒定，自動摘要技術在測試樣本空間內(nèi)達到79.25％的平均準確率。信息指紋技術達到78.69%的平均準確率，文本分類技術達到69.02%的平均查全率與70.33%的平均查準

4、率，文本聚類技術亦可為領域專家提供有參考價值的熱點主題聚類結果。本文所實現(xiàn)的系統(tǒng)，為領域專家提供了強有力的輿情分析工具。隨著人工設定的關鍵詞邏輯表達式準確度的不斷提高，系統(tǒng)分類的準確度也隨之提高。
　　本文結合互聯(lián)網(wǎng)領域輿情專家的經(jīng)驗，通過網(wǎng)絡爬蟲系統(tǒng)源源不斷的提供互聯(lián)網(wǎng)信息，及對信息進行分析、統(tǒng)計和結果呈現(xiàn)，幫助領域專家從海量的互聯(lián)網(wǎng)信息中提取輿情信息，發(fā)現(xiàn)輿情焦點，歸納輿情意向，并將結果以階段性分析報告形式提供給政府相關部門作