基于MapReduce大數(shù)據(jù)并行處理的若干關(guān)鍵技術(shù)研究.pdf

1、關(guān)系數(shù)據(jù)庫(kù)技術(shù)在傳統(tǒng)數(shù)據(jù)科學(xué)領(lǐng)域的研究已經(jīng)比較完善，但是由于當(dāng)前CPU計(jì)算能力與磁盤(pán)讀寫(xiě)技術(shù)發(fā)展的不平衡，使I/O成為了傳統(tǒng)數(shù)據(jù)庫(kù)性能提升的瓶頸。此外，傳統(tǒng)數(shù)據(jù)庫(kù)也無(wú)法勝任非結(jié)構(gòu)化數(shù)據(jù)類型的數(shù)據(jù)分析處理任務(wù)。隨著大數(shù)據(jù)研究的日益深入，出現(xiàn)了各種新的數(shù)據(jù)查詢處理方法。關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)相融合研究是數(shù)據(jù)科學(xué)、數(shù)據(jù)工程領(lǐng)域的研究熱點(diǎn)，國(guó)內(nèi)外研究學(xué)者進(jìn)行了一些探索，仍然有很多關(guān)鍵問(wèn)題有待解決。如何實(shí)現(xiàn)利用MapReduce分布式并行

2、計(jì)算方法解決大數(shù)據(jù)查詢處理，以及針對(duì)查詢處理系統(tǒng)提出有效的查詢優(yōu)化策略是目前學(xué)術(shù)界普遍關(guān)注的問(wèn)題。
　　本文正是從利用MapReduce分布式并行計(jì)算的思想和方法入手，設(shè)計(jì)了新的面向大數(shù)據(jù)的查詢分析處理方法，本文的研究工作概括為以下幾個(gè)方面：
　　一、在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)查詢代價(jià)估計(jì)模型基礎(chǔ)上，設(shè)計(jì)了基于MapReduce的大數(shù)據(jù)并行處理的代價(jià)估計(jì)模型，并且針對(duì)不同的優(yōu)化策略，分別設(shè)計(jì)了Hash連接環(huán)境，查詢物化策略環(huán)境以及頻繁

3、查詢環(huán)境下的代價(jià)估計(jì)優(yōu)化模型。
　　二、討論了并行處理系統(tǒng)的查詢優(yōu)化控制問(wèn)題。提出基于列存儲(chǔ)的大數(shù)據(jù)分析系統(tǒng)物化策略。首先，通過(guò)引入MapReduce物化代價(jià)估計(jì)模型，深入分析影響物化效率的各個(gè)因素。在此基礎(chǔ)上設(shè)計(jì)了MapReduce分布式環(huán)境下的面向物化策略的存儲(chǔ)系統(tǒng)文件格式：MMF，在數(shù)據(jù)加載過(guò)程中采用協(xié)同定位策略實(shí)現(xiàn)對(duì)物化數(shù)據(jù)的存儲(chǔ)優(yōu)化；其次，分別針對(duì)不同的物化時(shí)機(jī)，構(gòu)建了MapReduce早期物化策略， MapReduce

4、延遲物化策略和MapReduce混合物化策略；然后，利用自適應(yīng)物化調(diào)整策略對(duì)其做了進(jìn)一步優(yōu)化。
　　三、針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在對(duì)大數(shù)據(jù)訪問(wèn)操作時(shí)，系統(tǒng)性能嚴(yán)重下降，計(jì)算效率提升有限以及可擴(kuò)展性差等問(wèn)題，引入MapReduce并行計(jì)算模型，設(shè)計(jì)了大數(shù)據(jù)上基于列存儲(chǔ)的MapReduce并行連接算法。首先，設(shè)計(jì)了面向大數(shù)據(jù)的分布式計(jì)算模型，其次，使用了分片聚集和子連接啟發(fā)式優(yōu)化方法實(shí)現(xiàn)大數(shù)據(jù)在MapReduce分布式環(huán)境下并行連接算法。

5、
　　四、設(shè)計(jì)了大數(shù)據(jù)上基于列存儲(chǔ)的支持負(fù)載數(shù)據(jù)偏斜動(dòng)態(tài)探測(cè)的MapReduce分布式Hash連接算法。首先，建立了面向大數(shù)據(jù)的分布式計(jì)算模型，在此基礎(chǔ)上設(shè)計(jì)了MapReduce環(huán)境下的哈希分布式存儲(chǔ)系統(tǒng)；其次，在數(shù)據(jù)加載過(guò)程中采用協(xié)同定位策略實(shí)現(xiàn)對(duì)數(shù)據(jù)分布的優(yōu)化，減少數(shù)據(jù)偏斜的出現(xiàn)；然后，在設(shè)計(jì)的分片聚集并行連接基礎(chǔ)上，利用Hash連接以及動(dòng)態(tài)探測(cè)方法優(yōu)化了數(shù)據(jù)連接處理效率。
　　五、通過(guò)討論并行處理系統(tǒng)的調(diào)度優(yōu)化控制問(wèn)題

6、，設(shè)計(jì)了面向大數(shù)據(jù)頻繁查詢工作負(fù)載的優(yōu)化方法。首先，建立頻繁查詢模型，分析了MapReduce環(huán)境下影響頻繁查詢效率各種因素。其次，設(shè)計(jì)了基于MapReduce一致性窗口分片算法，不僅為頻繁查詢集合創(chuàng)建更多的重用機(jī)會(huì)，而且通過(guò)對(duì)輸入數(shù)據(jù)這樣的精細(xì)粒度調(diào)度,可以大大減少冗余數(shù)據(jù)加載。然后，在數(shù)據(jù)調(diào)度方面，利用MapReduce延遲調(diào)度策略,提高數(shù)據(jù)處理吞吐量，優(yōu)化MapReduce集群計(jì)算資源分配，通過(guò)MapReduce頻繁查詢數(shù)據(jù)重用策