Hadoop集群調度優(yōu)化的研究.pdf

1、近些年云計算技術的應用越來越廣泛。由于云計算技術在互聯(lián)網行業(yè)中的快速發(fā)展，數據的大小和復雜程度（大數據）急劇增加，促使 MapReduce和分布式文件系統(tǒng)，如 HDFS（Hadoop分布式文件系統(tǒng)）成為分布式數據應用程序的首選模式。云基礎設施的可擴展性顯著提高了其適用性。Hadoop基于MapReduce計算框架，因而可以高效的處理大數據。它的解決方案已經被廣泛應用于大多數云供應商。Hadoop集群調度是滿足性能要求的關鍵因素。Hado

2、op集群調度將任務分配到資源上。用可擴展的方式分配越來越多的任務和資源是一個相當大的挑戰(zhàn)。此外，Hadoop系統(tǒng)的異構性會使挑戰(zhàn)的難度增加。
　　原始的Hadoop任務調度算法不能滿足異構集群的性能要求。本文研究并分析了比較常用的Hadoop調度算法的性能。其中包括三種作業(yè)調度算法：FIFO算法，FairSharing算法，COSHC（Classification and Optimization based on Schedul

3、er for Heterogeneous Clusters）算法，以及一種任務調度算法：ATSDA（Adaptive Task Scheduling strategy based on Dynamic workload Adjustment）算法。FIFO算法是大多數Hadoop集群默認的作業(yè)調度算法。它對作業(yè)隊列的分配基于作業(yè)到達系統(tǒng)的時間，而忽略系統(tǒng)中的任何異構性。FairSharing算法用來補充FIFO算法在小作業(yè)和用戶的異構性

4、處理中缺點的Hadoop集群調度算法。該調度算法定義了每個用戶的池，每個池由多個Map任務和Reduce任務的資源槽組成。COSHC算法是Hadoop調度算法考慮系統(tǒng)和用戶的異構性做出的調度決策。通過使用該系統(tǒng)信息，COSHC將輸入作業(yè)分類，并基于作業(yè)類和資源的功能找到該作業(yè)匹配的資源。
　　在本篇論文中，我所設計的綜合調度優(yōu)化策略對Hadoop集群的作業(yè)調度和任務調度進行優(yōu)化。一、綜合調度優(yōu)化策略在Hadoop集群作業(yè)調度中引入

5、混合調度方法。該方法根據傳入作業(yè)和可用資源的數量等信息，動態(tài)地選擇FIFO算法，FairSharing算法，COSHC算法中最合適的調度算法。二、綜合調度優(yōu)化策略在Hadoop集群任務調度中采用ATSDA調度算法。ATSDA算法為基于動態(tài)負載調整的自適應任務調度算法。在ATSDA算法中，TaskTrackers能夠適應運行時的負載變化和自己計算能力的要求獲得任務，實現自律的同時避開了JobTracker系統(tǒng)性能瓶頸的主要原因：算法的復雜