基于hive分布式計(jì)算與數(shù)據(jù)挖掘的關(guān)聯(lián)性營(yíng)銷(xiāo)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在網(wǎng)購(gòu)人群數(shù)量急劇增長(zhǎng)的今天,互聯(lián)網(wǎng)公司每天都會(huì)收集到上T級(jí)別的WEB日志和數(shù)據(jù),這些數(shù)據(jù)真實(shí)地記錄了每一個(gè)用戶的訪問(wèn)行為,有著非常高的挖掘和研究?jī)r(jià)值。通過(guò)深入地挖掘和研究這些數(shù)據(jù),可以獲得大量有價(jià)值的潛在信息,分析出用戶的行為規(guī)律,為產(chǎn)品運(yùn)營(yíng)人員提供客觀可靠的依據(jù),使他們的營(yíng)銷(xiāo)更具針對(duì)性,從而大大提高營(yíng)銷(xiāo)的效果。
　　 傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在面對(duì)上T級(jí)別的海量數(shù)據(jù)處理時(shí)已經(jīng)顯得力不從心,而分布式計(jì)算平臺(tái)(hive,hadoop)的

2、出現(xiàn)恰好解決了海量數(shù)據(jù)處理的計(jì)算瓶頸,讓基于海量數(shù)據(jù)的數(shù)據(jù)挖掘成為可能。
　　 在淘寶買(mǎi)家數(shù)量龐大且穩(wěn)定增長(zhǎng)的情況下,賣(mài)家的經(jīng)營(yíng)開(kāi)始從粗放型向精細(xì)型轉(zhuǎn)化,而關(guān)聯(lián)性營(yíng)銷(xiāo)就是其手段之一,本文以淘寶所有買(mǎi)家的海量行為日志和數(shù)據(jù)為基礎(chǔ),使用經(jīng)典關(guān)聯(lián)規(guī)則算法apriori算法,使用分布式計(jì)算平臺(tái)將數(shù)據(jù)進(jìn)行分布式ETL的抽取、清洗、轉(zhuǎn)化、加載后,得到產(chǎn)品被購(gòu)買(mǎi)的關(guān)聯(lián)度,最終將結(jié)果簡(jiǎn)單明了地提供給賣(mài)家,為他們進(jìn)行關(guān)聯(lián)性營(yíng)銷(xiāo)提供真實(shí)可靠的數(shù)據(jù)依