基于MapReduce集群的調(diào)度算法的研究與實現(xiàn).pdf

1、現(xiàn)代互聯(lián)網(wǎng)應(yīng)用引發(fā)了對海量數(shù)據(jù)進(jìn)行并行化處理的需求，越來越多的計算任務(wù)需要在擁有成千上萬個相互獨立的計算節(jié)點的裝置上完成。于是Hadoop MapReduce作為新一代的編程系統(tǒng)應(yīng)運而生，它是一個用以處理大規(guī)模分布式數(shù)據(jù)集的編程模型，其最大優(yōu)勢是實現(xiàn)了大規(guī)模并行計算。MapReduce集群（也稱Hadoop平臺）是一個多用戶、多作業(yè)和多任務(wù)共享相同物理資源的環(huán)境，群集的性能、資源利用率以及用戶體驗等方面在很大程度上由調(diào)度算法所決定。因此

2、，研究基于Hadoop平臺的調(diào)度算法具有重要的理論價值和實踐意義。
　　本文首先對云計算環(huán)境下的作業(yè)調(diào)度問題和現(xiàn)有的作業(yè)調(diào)度算法進(jìn)行了研究，然后重點研究與分析了Hadoop平臺下的作業(yè)運行機(jī)制、作業(yè)調(diào)度機(jī)制及其現(xiàn)有的幾種作業(yè)調(diào)度算法，包括算法的思想、具體步驟及優(yōu)缺點等內(nèi)容。在此基礎(chǔ)之上，本文還分別從服務(wù)質(zhì)量、數(shù)據(jù)本地性和資源利用率等幾個方面進(jìn)一步分析了Hadoop平臺下現(xiàn)有調(diào)度算法所存在的問題，進(jìn)而提出了一種基于博弈思想的二級調(diào)度

3、模型，第一級為作業(yè)調(diào)度，第二級為任務(wù)調(diào)度。針對作業(yè)級調(diào)度，本文將其抽象成了一個動態(tài)非合作博弈，提出了一種基于QoS競價模型的Hadoop作業(yè)選擇方法，從而實現(xiàn)了作業(yè)優(yōu)先級的優(yōu)化評估和作業(yè)的量化選擇。針對任務(wù)級調(diào)度，本文將其抽象成了一個合作博弈，提出了一種基于匈牙利算法的Hadoop任務(wù)調(diào)度算法，從而實現(xiàn)了作業(yè)完成代價的最小化，減少了作業(yè)響應(yīng)時間。此外，本文還提出了一種基于最小代價流的Hadoop任務(wù)調(diào)度算法，該算法不僅減少了作業(yè)響應(yīng)時間