云計算中MapReduce性能優(yōu)化及應用.pdf

1、云計算中MapReduce性能優(yōu)化及應用重慶大學碩士學位論文學生姓名：陳香香指導教師：吳開貴副教授專業(yè)：計算機系統(tǒng)結構學科門類：工學重慶大學計算機學院二O一一年五月重慶大學碩士學位論文中文摘要I摘要自2007年以來，云計算已經(jīng)逐漸成為國際IT界比較熱門的概念，隨著數(shù)據(jù)量的激增，如何快速高效地存儲和計算海量數(shù)據(jù)成為目前科學界迫切需要解決的問題，而這類問題恰恰是云計算推出的動力之一，使得云計算的普及和應用已經(jīng)成為業(yè)界不可回避和逆轉的趨勢。但

2、是就云計算本身說，它只是一種思維模式，要想真正發(fā)揮它的優(yōu)勢，除了必要的硬件設施之外，更重要的是要有支撐和實現(xiàn)云計算思想的編程模型，而Google提出的MapReduce并行編程模型，以其簡單有力的接口使得并行處理變得簡單易行，為云計算中海量數(shù)據(jù)的計算提供了軟件支持。本文詳細分析了GoogleMapReduce及其底層文件存儲系統(tǒng)GFS的概念、優(yōu)點和實現(xiàn)機制。然后針對MapReduce的執(zhí)行流程中對中間結果數(shù)據(jù)的處理機制不靈活，沒有在第一

3、時間減少中間結果的數(shù)量的缺點，在MapRedeuce的map函數(shù)中引入關聯(lián)數(shù)組，可以使中間結果的合并操作在Map函數(shù)中自動進行，更有效的減少中間結果的數(shù)量，降低網(wǎng)絡負擔，從而提高系統(tǒng)的執(zhí)行效率。本文在對MapReduce進行改進之后，設計和實現(xiàn)了基于MapRedeuce的文本分類器。在文本處理和數(shù)據(jù)挖掘領域，海量數(shù)據(jù)的分類問題是經(jīng)常遇到的，然而傳統(tǒng)的算法只能適應于小規(guī)模的數(shù)據(jù)，隨著數(shù)據(jù)量的增大，算法的執(zhí)行速度越來越慢，實時性越來越差，成

4、為傳統(tǒng)數(shù)據(jù)挖掘的瓶頸。這種新的分類器構建方法在集群中并行地實現(xiàn)分類器的構建，大大提高了效率，使得算法具有更好的實時性。為了驗證MapReduce改進之后的性能，我們采用Mapreduce的開源實現(xiàn)Hadoop來進行實驗，以運行時間作為衡量算法的標準，結果證明新的算法的效率比傳統(tǒng)的算法要高的多。對于分類器的實現(xiàn)，我們也是在Hadoop平臺下進行的，通過結果對比可知，基于MapReduce的分類器的具有更好的效率和可擴展性。關鍵詞：云計算，