基于hadoop 環(huán)境下的出行行為大數(shù)據(jù)分析

1、畢業(yè)設(shè)計（論文）第1頁第1頁基于基于HADOOP環(huán)境下的出行行為大數(shù)據(jù)分析環(huán)境下的出行行為大數(shù)據(jù)分析摘要——不同團體利用其活動產(chǎn)生的大數(shù)據(jù)和在團體周圍環(huán)境中產(chǎn)生的大數(shù)據(jù)已經(jīng)創(chuàng)造了許多機會。在交通領(lǐng)域運作的組織也從大數(shù)據(jù)分析中受益。研究旅客在選擇其運輸方式時的行為是確定運輸相關(guān)政策的一個重要因素。本文闡述了如何利用大數(shù)據(jù)分析工具對與公眾模式選擇有關(guān)的數(shù)據(jù)進行分析。1.1.介紹介紹在交通研究中，出行行為已經(jīng)成為一個熱門話題。對旅客行為的分析

2、可以幫助運輸服務(wù)提供商提供可靠的運輸服務(wù)，滿足顧客的需求。盡管這給社會帶來了許多好處，但人類行為的復(fù)雜性在整個分析過程中帶來了許多挑戰(zhàn)。研究人員試圖發(fā)現(xiàn)大多數(shù)這些復(fù)雜的意向調(diào)查（可見的）行為調(diào)查。在調(diào)查過程中，客戶提出了許多問題，這些問題最終導(dǎo)致了大型數(shù)據(jù)集的開發(fā)。然后對數(shù)據(jù)集進行分析，根據(jù)已知的出行需求模型公式建立出行需求模型。在出行需求建模領(lǐng)域有許多研究。OsmanIdriset.al.[1]研究了心理因素對艾蒙頓、阿爾伯塔哈比等城

3、市通勤出行方式選擇的影響。Habibet.al.[2]用隨機效用最大化法研究加拿大非工人的活動出行行為。Kamargianniet.al.[3]通過對居住在塞浦路斯的學(xué)生進行抽樣調(diào)查，研究了學(xué)校旅行出行方式選擇中主觀和客觀因素的影響。Jiet.al.[4]研究了南京（中國）居民的性別、年齡、收入和出行目的等幾個因素對選擇以公共自行車方式進入軌道交通的影響。大數(shù)據(jù)是圍繞大量數(shù)據(jù)開發(fā)的概念。由于旅游調(diào)查中存在大量的問題，大數(shù)據(jù)的概念也適用于

4、出行調(diào)查數(shù)據(jù)。畢業(yè)設(shè)計（論文）第3頁互聯(lián)網(wǎng)和自動車輛產(chǎn)生的數(shù)據(jù)可以達(dá)到每秒千兆字節(jié)的速度。從倫敦飛往紐約的飛機上的傳感器網(wǎng)絡(luò)可以產(chǎn)生650兆字節(jié)的數(shù)據(jù)[5]。最后，多樣性是3V屬性集中的一個關(guān)鍵組成部分。與傳統(tǒng)數(shù)據(jù)分析技術(shù)完全兼容的數(shù)據(jù)集是結(jié)構(gòu)化的，數(shù)據(jù)類型是預(yù)先確定的。另一方面，對大數(shù)據(jù)中的數(shù)據(jù)格式?jīng)]有控制，數(shù)據(jù)可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的或非結(jié)構(gòu)化的。與數(shù)據(jù)關(guān)聯(lián)的元數(shù)據(jù)確定數(shù)據(jù)集的類型和內(nèi)容。這通常出現(xiàn)在從TwitterAPI收集的t

5、weets中，其中收集的數(shù)據(jù)將以json格式顯示tweet內(nèi)容、發(fā)件人姓名、時間和日期等。從社交媒體網(wǎng)站（如flickr）收集的照片包含一個元數(shù)據(jù)，其中包含照片拍攝的時間和日期、時間和日期和被上傳到網(wǎng)站上的，與照片相關(guān)的評論和主題，照片的位置，分辨率等。為了分析各種格式的數(shù)據(jù)，數(shù)據(jù)分析系統(tǒng)應(yīng)具有以下特點：可擴展性、分布式處理能力、圖像處理能力、圖形處理能力和視頻音頻處理能力[5]。大數(shù)據(jù)分析工具相對于傳統(tǒng)工具的其他優(yōu)勢是可擴展性、成本效

6、率、靈活性、高性能和高可用性[5]。由于傳統(tǒng)數(shù)據(jù)分析技術(shù)的能力有限，大數(shù)據(jù)分析需要一個全新的系統(tǒng)。這個新系統(tǒng)通常被稱為“大數(shù)據(jù)生態(tài)系統(tǒng)”，由許多組件組成，其中一些組件如下所述：擴展數(shù)據(jù)庫擴展數(shù)據(jù)庫這是一種提高數(shù)據(jù)庫容量的策略。通過添加數(shù)據(jù)庫節(jié)點來增加容量，并按比例增加容量。該技術(shù)通過提供一個水平規(guī)模的集群數(shù)據(jù)庫解決方案來支持分布式計算的原理。Mellanox和Clustrix等幾家公司提供擴展數(shù)據(jù)庫。水平平臺水平平臺這種平臺存在于Had