基于Hadoop平臺(tái)的日志分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及，web的信息量以驚人的速度增長(zhǎng)。目前，WorldWide Web已深入到人類(lèi)社會(huì)的每一個(gè)角落，成為擁有近億個(gè)工作站，數(shù)十億頁(yè)面，蘊(yùn)含著巨大潛在價(jià)值知識(shí)的分布式信息空間。電子商務(wù)網(wǎng)站創(chuàng)造了前所未有的訪(fǎng)問(wèn)量，各種大型網(wǎng)絡(luò)游戲不斷刷新著在線(xiàn)用戶(hù)數(shù)峰值，于此同時(shí)這些大型系統(tǒng)都記錄下了海量的用戶(hù)日志。就電子商務(wù)網(wǎng)站而言，處理網(wǎng)站訪(fǎng)問(wèn)日志有助于為網(wǎng)站的管理者提供決策支持進(jìn)而指導(dǎo)網(wǎng)站運(yùn)營(yíng)，如改善網(wǎng)站結(jié)構(gòu)提升用戶(hù)體驗(yàn);進(jìn)

2、行關(guān)鍵詞營(yíng)銷(xiāo)提升流量、促進(jìn)轉(zhuǎn)化、提升效益;分析用戶(hù)行為進(jìn)行個(gè)性化的推薦和營(yíng)銷(xiāo)來(lái)提高網(wǎng)站的核心競(jìng)爭(zhēng)力，在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持優(yōu)勢(shì)。
　　Hadoop是Apache下的一個(gè)開(kāi)源分布式計(jì)算平臺(tái)，它提供簡(jiǎn)單的編程模型，對(duì)大量數(shù)據(jù)進(jìn)行分布式處理。Hadoop一般運(yùn)行在由大量普通計(jì)算機(jī)組成的集群上。Hadoop框架的核心是分布式文件系統(tǒng)HDFS和分布式計(jì)算框架Map/Reduce，為用戶(hù)提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。對(duì)電子商務(wù)網(wǎng)站日

3、志進(jìn)行預(yù)處理和分析，可以利用集群優(yōu)勢(shì)并行處理與分析日志，快速及時(shí)的為網(wǎng)站運(yùn)營(yíng)團(tuán)隊(duì)提供決策數(shù)據(jù)。
　　某大型網(wǎng)站的分析引擎項(xiàng)目就是為了向企業(yè)提供基于流量、來(lái)源通路、訪(fǎng)客、內(nèi)容、商品和訂單六大對(duì)象的數(shù)據(jù)分析，通過(guò)圖形報(bào)表形式向企業(yè)管理者展示網(wǎng)站的核心數(shù)據(jù)，如動(dòng)銷(xiāo)、轉(zhuǎn)化率、流量和銷(xiāo)售集中度等，同時(shí)滿(mǎn)足企業(yè)對(duì)于Web Analysis和Business Analysis的需求。
　　本文在分析現(xiàn)有分布式儲(chǔ)存和計(jì)算等關(guān)鍵技術(shù)的基礎(chǔ)上，

4、結(jié)合對(duì)Hadoop平臺(tái)的分析與研究，設(shè)計(jì)實(shí)現(xiàn)了一種基于分布式計(jì)算平臺(tái)的日志分析系統(tǒng)，并使用本系統(tǒng)進(jìn)行了網(wǎng)站流量、網(wǎng)站來(lái)源、網(wǎng)站訪(fǎng)客及訂單等分析工作。本文對(duì)該系統(tǒng)的各個(gè)功能模塊進(jìn)行了詳細(xì)的闡述并對(duì)本文給出的分布式平臺(tái)的高效性進(jìn)行了實(shí)驗(yàn)比較分析。實(shí)驗(yàn)表明，采用該分析系統(tǒng)，通過(guò)多個(gè)資源完成原先由一個(gè)節(jié)點(diǎn)承擔(dān)的工作，無(wú)論是在數(shù)據(jù)處理還是任務(wù)執(zhí)行上，其效率都高于基于單機(jī)集中式環(huán)境的Web日志分析，另外還可以得出任務(wù)的執(zhí)行時(shí)間不僅與集群節(jié)點(diǎn)數(shù)量有關(guān)