面向互聯(lián)網(wǎng)機票數(shù)據(jù)抓取與票價預警系統(tǒng)的設計與實現(xiàn).pdf

1、隨著網(wǎng)絡技術的高速發(fā)展與電子客票系統(tǒng)的全面推廣應用,各大航空公司都已經(jīng)利用各自的網(wǎng)站銷售電子客票,同時也出現(xiàn)了許多機票代售網(wǎng)站。這種面向互聯(lián)網(wǎng)的機票銷售,使得機票市場存在非常激烈的競爭。各個航空公司為了使總體利潤最大化,通常采用一些低價策略吸引客戶,從而使得票價調(diào)整非常頻繁,也導致了航空公司之間出現(xiàn)了惡性競爭。當前民航監(jiān)管部門的監(jiān)控手段存在重大問題:由于航線多,銷售網(wǎng)站多,數(shù)據(jù)量大,同時采用人工方式,致使自動化程度低,效率極其低下,準確

2、度難以保證,不能全面而實時的監(jiān)控票價和預警。
　　本文針對上述問題,采用深度網(wǎng)絡爬蟲技術設計實現(xiàn)了一個互聯(lián)網(wǎng)的機票數(shù)據(jù)抓取與票價預警系統(tǒng)。該系統(tǒng)有很強的機票數(shù)據(jù)抓取能力,并能對未來票價預測預警,可以實時監(jiān)控互聯(lián)網(wǎng)上機票價格并實時預警。本系統(tǒng)的核心在于兩個部分:機票數(shù)據(jù)的深度抓取和票價預警。首先設計實現(xiàn)了一個機票主題爬蟲,該爬蟲根據(jù)主題相關性判斷,在網(wǎng)頁中識別出與機票主題相關的HTML表單,自動填充查詢條件并提交,進而抓取含有豐富機

3、票數(shù)據(jù)的結果頁。再對結果頁通過模板匹配的方法抽取有效的機票數(shù)據(jù),結構化存儲到數(shù)據(jù)庫。最后對抓取到的數(shù)據(jù)去錯去重,分析其特征,采用移動加權平均時間序列預測算法處理近期和歷年同一時期票價數(shù)據(jù)進行未來機票價格預測,得出價格走勢圖,當預測到某一機票價格低于預設閾值時發(fā)出警報。最后,對系統(tǒng)進行了測試與結果分析。
　　本課題來源于中國民航研究院的預研項目,完成了互聯(lián)網(wǎng)的機票數(shù)據(jù)抓取與票價預警系統(tǒng)的設計與實現(xiàn)。通過測試,驗證了系統(tǒng)可以有效的抓取