基于Hadoop平臺的大數據遷移與查詢方法研究及應用.pdf

1、高效的數據管理系統(tǒng)對于數據應用管理非常重要，然而數據規(guī)模的持續(xù)增長、數據類型的不斷變化、非結構化數據成為存儲和處理對象等因素，逐漸動搖了傳統(tǒng)關系數據庫的主導地位，僅僅使用傳統(tǒng)關系數據庫已經不能很好地解決上述問題，不能滿足經濟有效的存儲、分析和訪問數據。
　　Hadoop由于對底層存儲和并行處理透明化，同時擁有高性能的集群計算和存儲能力，在分布式計算和大量數據處理方面脫穎而出。然而使用Hadoop平臺對大數據進行處理，并實現高效率查

2、詢，需要對Hadoop與關系型數據庫之間進行數據的遷移，將數據導入到Hadoop中進行分析處理，使用Hadoop來優(yōu)化數據庫核心工作效率及數據庫性能、完成不斷更新的查詢需求。
　　本文在討論研究Hadoop平臺相關架構及數據交換原理的基礎上，對基于Hadoop平臺的數據遷移提出了MapReduce技術的實現方案，MapReduce可以實現更優(yōu)的并發(fā)性，從而可以體現優(yōu)化數據轉換的能力。
　　首先深入分析MapReduce工作機

3、制，及Hadoop三種常用的作業(yè)調度器。在此基礎上，對MapReduce的作業(yè)調度器進行優(yōu)化設計，將公平調度器與優(yōu)先權（高響應比優(yōu)先）調度算法相結合，提出了基于優(yōu)先權的公平調度器的改進算法，同時以TaskTracker的負載均衡監(jiān)聽器輔助進行調度工作。
　　然后分析HBase和Hive各自的工作機制，對Hive-HBase相結合的數據查詢方法進行探討，設計了一個基于Hive-HBase的數據查詢方案。
　　最后，搭建實驗環(huán)境

4、對基于Hadoop平臺的數據遷移及數據查詢進行實驗與分析，對比基于不同調度算法的遷移性能，以及對比原系統(tǒng)與Hive-HBase相結合的查詢方案二者進行數據查詢的效率。
　　經過實驗分析，驗證了本文構建基于Hadoop平臺包括數據遷移和查詢的完整數據處理的方案是可行的。數據遷移過程中對調度算法的優(yōu)化提高了數據遷移性能，同時，使用Hadoop平臺對大數據進行處理與傳統(tǒng)關系數據庫相比，在查詢效率上體現其優(yōu)勢。因此，本文在對大數據進行處理