基于主題的微博網頁爬蟲研究.pdf

1、隨著美國twitter的火熱，國內各大微博網站興起，微博在網民中日益火熱。在微博中誕生的各種網絡熱詞也迅速走紅網絡，微博效應正在逐漸形成，微博成為中國網民上網的主要活動之一。正是由于微博效應的形成，微博話題在網民之間迅速傳遞。對于微博信息的獲取以及分析，成為重要的研究對象。為方便微博數據的獲取，各大網站微博也相繼提供了抓取微博的API，但這些API都有訪問次數的限制，無法滿足獲取大量微博數據的要求，同時抓取的數據往往很雜亂。針對上述問題

2、，本文引入網頁頁面分析技術和主題相關性分析技術，展開基于主題的微博網頁爬蟲的研究與設計。
　　本文的主要工作有研究分析網頁頁面分析技術，根據微博頁面特點選擇微博頁面信息獲取方法；重點描述基于“剪枝”的廣度優(yōu)先搜索策略的思考以及設計的詳細過程，著重解決URL的去重、URL地址集合動態(tài)變化等問題；研究分析短文本主題抽取技術以及多關鍵匹配技術，確定微博主題相關性分析的設計方案；最后設計實現基于主題的微博網頁爬蟲的原型系統，實時抓取和存儲

3、微博數據。本文研究的核心問題是，根據微博數據的特點設計一種基于“剪枝”的廣度優(yōu)先搜索策略，并將其應用到微博爬蟲中；同時使用微博頁面分析技術使得爬蟲不受微博平臺API限制，從而讓用戶盡可能準確地抓取主題相關的微博數據。
　　通過多次反復實驗獲取原型系統實驗結果，將實驗結果同基于API微博爬蟲和基于網頁微博爬蟲的抓取效果進行對比分析得出結論：本文提出的爬行策略能夠抓取主題相關的微博數據，雖然在效率上有所降低，但在抓取的微博數據具有較好