電子商務(wù)數(shù)據(jù)分析平臺的設(shè)計與實現(xiàn).pdf

1、計算機(jī)應(yīng)用未來的發(fā)展方向是對數(shù)據(jù)的深度處理，在大數(shù)據(jù)概念提出以后，如何對研究領(lǐng)域中的數(shù)據(jù)進(jìn)行采集、處理、挖掘、應(yīng)用，成為各個行業(yè)研究的熱點(diǎn)。電子商務(wù)改變了傳統(tǒng)的經(jīng)營模式，是互聯(lián)網(wǎng)最成功的應(yīng)用之一，而電子商務(wù)中產(chǎn)生的大量數(shù)據(jù)，具有十分重要的應(yīng)用價值。
　　1、針對目前在電子商務(wù)領(lǐng)域中，數(shù)據(jù)分析和應(yīng)用并不十分廣泛，而且一般只關(guān)注于某一方面研究分析，無法對數(shù)據(jù)進(jìn)行全面分析處理的缺點(diǎn)，提出了電子商務(wù)數(shù)據(jù)分析平臺模型，該模型主要包括數(shù)據(jù)源層

2、，操作數(shù)據(jù)層，數(shù)據(jù)集成層，數(shù)據(jù)處理層，數(shù)據(jù)應(yīng)用層五個組成部分，其中數(shù)據(jù)源層由多個異構(gòu)數(shù)據(jù)庫組成，分別存儲電子商務(wù)系統(tǒng)運(yùn)營過程中產(chǎn)生的不同類型數(shù)據(jù)。
　　2、在總體架構(gòu)中，操作數(shù)據(jù)層是對數(shù)據(jù)源層進(jìn)行提取，主要是最近一個時期的“熱”數(shù)據(jù)，并可實現(xiàn)對數(shù)據(jù)細(xì)節(jié)的查詢;數(shù)據(jù)集成層是根據(jù)分析應(yīng)用的需求，將操作數(shù)據(jù)層中的數(shù)據(jù)進(jìn)行集成處理，主要是為數(shù)據(jù)的應(yīng)用提供基礎(chǔ);數(shù)據(jù)處理層是采用數(shù)據(jù)挖掘、數(shù)據(jù)聯(lián)機(jī)分析處理、數(shù)據(jù)統(tǒng)計等各類分析方法，對集成后的數(shù)

3、據(jù)進(jìn)行處理;數(shù)據(jù)應(yīng)用層是根據(jù)用戶的業(yè)務(wù)需求構(gòu)建數(shù)據(jù)處理應(yīng)用，并調(diào)用各類數(shù)據(jù)分析方法，獲取分析結(jié)果。為了使電子商務(wù)數(shù)據(jù)分析平臺具有對海量數(shù)據(jù)進(jìn)行處理的能力，在平臺具體實現(xiàn)方面引入了Hadoop平臺技術(shù)，利用基于HDFS的分布式存儲模式，提高對非結(jié)構(gòu)化數(shù)據(jù)的存儲和處理能力，同時也拓展了系統(tǒng)的擴(kuò)展能力。
　　3、針對對于大量數(shù)據(jù)的處理效率問題，采用Map/Reduce并行運(yùn)算技術(shù)，將該技術(shù)與電子商務(wù)數(shù)據(jù)分析平臺相結(jié)合，作為對數(shù)據(jù)挖掘進(jìn)行

4、處理的工具，并對Apriori算法進(jìn)行了改進(jìn)，提高了分類數(shù)據(jù)挖掘的運(yùn)算效率;設(shè)計了電子商務(wù)數(shù)據(jù)分析平臺應(yīng)用層的功能架構(gòu)，通過對電子商務(wù)數(shù)據(jù)分析業(yè)務(wù)流程的討論，確定了系統(tǒng)應(yīng)用的目標(biāo)，討論了功能設(shè)計方案和實現(xiàn)過程，并通過測試驗證功能的有效性。
　　電子商務(wù)數(shù)據(jù)分析平臺采用分層架構(gòu)模式，充分利用各類智能數(shù)據(jù)處理技術(shù)對電子商務(wù)平臺中的數(shù)據(jù)進(jìn)行分析，以滿足用戶不同的應(yīng)用需求，為電子商務(wù)系統(tǒng)的管理者改進(jìn)經(jīng)營模式，更好地維護(hù)客戶關(guān)系，提高經(jīng)濟(jì)效