hadoop環(huán)境配置與實(shí)驗(yàn)報(bào)告

1、 研究生課程考試成績單 （試卷封面） 院 系 計(jì)算機(jī)科學(xué)與工程 專業(yè) 計(jì)算機(jī)科學(xué)與技術(shù) 學(xué)生姓名 李富豪 學(xué)號 131440 課程名稱 計(jì)算機(jī)新技術(shù)綜合實(shí)踐 授課時(shí)間 2014 年 4 月 至 2014 年 6 月 周學(xué)時(shí) 1 學(xué)分 2 簡 要 評 語 （1） 小組答辯過程表述很清晰； （2） 實(shí)驗(yàn)結(jié)果的演示表明搭建的系統(tǒng)以及編寫的程序很好地滿足功能要求； （3） 報(bào)告內(nèi)容很好地符合要求。 考核論題 總評

2、成績 （含平時(shí)成績） 備注 任課教師簽名：日期： 2014.7 注：1. 以論文或大作業(yè)為考核方式的課程必須填此表，綜合考試可不填。 “簡要評語”欄缺填無效。 2. 任課教師填寫后與試卷一起送院系研究生秘書處。 3. 學(xué)位課總評成績以百分制計(jì)分。 hadoop 環(huán)境配置與試驗(yàn)報(bào)告 3 1 集群部署介紹 1.1 Hadoop簡介 Hadoop 是 Apache 軟件基金會旗下的一個(gè)開源分布式計(jì)算平臺。以 Hado

3、op 分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和 MapReduce（Google MapReduce的開源實(shí)現(xiàn)）為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 對于 Hadoop 的集群來講，可以分成兩大類角色：Master 和 Salve。一個(gè) HDFS 集群是由一個(gè) NameNode 和若干個(gè) DataNode 組成的。其中 NameNode 作為主服務(wù)器，管理

4、文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的 DataNode 管理存儲的數(shù)據(jù)。MapReduce 框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的 JobTracker 和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的 TaskTracker 共同組成的。 主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè) Job 被提交時(shí)，JobTracker 接收到

5、提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點(diǎn)，同時(shí)調(diào)度任務(wù)并監(jiān)控 TaskTracker 的執(zhí)行。 從上面的介紹可以看出，HDFS 和 MapReduce 共同組成了 Hadoop 分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，MapReduce 在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。HDFS 在 MapReduce 任務(wù)處理過程中提供了文件操作和存儲等支持，MapReduce 在 HDFS 的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分

6、發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了 Hadoop 分布式集群的主要任務(wù)。 1.2 環(huán)境說明 集群中包括 4 個(gè)節(jié)點(diǎn)：1 個(gè) Master，3 個(gè) Salve，節(jié)點(diǎn)之間局域網(wǎng)連接，可以相互 ping 通。節(jié)點(diǎn) IP 地址分布如下： 機(jī)器名稱 機(jī)器名稱 IP 地址 地址 computer1（Master） 192.168.111.1 computer2（salve） 192.168.111.2 computer

7、3（salve） 192.168.111.3 computer_test（salve） 192.168.111.4 四個(gè)節(jié)點(diǎn)上均是 Ubuntu10.0 系統(tǒng)，并且有一個(gè)相同的用戶 hadoop。Master 機(jī)器主要配置 NameNode 和JobTracker 的角色，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行；3 個(gè) Salve 機(jī)器配置 DataNode 和 TaskTracker 的角色，負(fù)責(zé)分布式數(shù)據(jù)存儲以及任務(wù)的執(zhí)行。其實(shí)應(yīng)該

8、還應(yīng)該有 1 個(gè) Master 機(jī)器，用來作為備用，以防止Master 服務(wù)器宕機(jī)，還有一個(gè)備用馬上啟用。后續(xù)經(jīng)驗(yàn)積累一定階段后補(bǔ)上一臺備用 Master 機(jī)器。 1.3 網(wǎng)絡(luò)配置 下面的例子我們將以 Master 機(jī)器為例，即主機(jī)名為“computer1“，IP 為“192.168.111.1“進(jìn)行一些主機(jī)名配置的相關(guān)操作。其他的 Slave 機(jī)器以此為依據(jù)進(jìn)行修改。 1.3.1 編輯當(dāng)前機(jī)器名稱 用下面命令進(jìn)行顯示機(jī)器名稱，