基于Hadoop框架的大數(shù)據(jù)集連接優(yōu)化算法.pdf

1、MapReduce是Google開發(fā)的一種并行分布式計算模型，已在搜索和處理海量數(shù)據(jù)領(lǐng)域得到了廣泛的應(yīng)用，Hadoop是它的開源實現(xiàn)。MapReduce編程模型因為其良好的可擴展性、高可用性以及容錯性而被廣泛地運用于不同的領(lǐng)域，并且都獲得很多好評。但是，由于MapReduce分布式編程框架自身的局限性，使得該模型進行表連接任務(wù)特別是多表連接任務(wù)時存在一定的不足。
　　本文首先針對基于MapReduce框架的通用二路連接算法RSJ的

2、不足提出了一種基于DistributedCache的改進優(yōu)化算法。優(yōu)化算法的思想是在進行RSJ算法進行表關(guān)聯(lián)之前，將其中一個表的連接屬性的值提取出來并且經(jīng)過Bit-map壓縮成較小的“背景”數(shù)據(jù)存放到一個小的文件中，然后經(jīng)由DistributedCache機制傳輸?shù)礁鱾€節(jié)點上。再進行RSJ算法實現(xiàn)二個表連接時，在Map階段可以通過讀取“背景”數(shù)據(jù)來過濾掉另一表中不滿足連接條件的元組，從而減少mapper輸出的數(shù)據(jù)來達到優(yōu)化的效果。

3、>　　之后，為了解決多路連接過程中頻繁出現(xiàn)中間結(jié)果集而帶來巨大的I/O開銷，本文采用了一種新的重定向mapper端輸出策略——“一對多分區(qū)”策略，該策略的好處是：能夠使得多個連接數(shù)據(jù)集中滿足連接條件的元素都可以一次性發(fā)送到同一個reducer進行連接處理，從而實現(xiàn)一個MapReduce作業(yè)就能夠完成多表連接操作。并且基于該思想對原MapReduce框架進行了改進。
　　最后，在搭建的Hadoop并行計算平臺上進行試驗，以驗證上述兩