基于GPU-hadoop的海洋環(huán)境信息可視化并行計(jì)算框架研究與實(shí)現(xiàn).pdf

1、“海洋環(huán)境信息可視化”是海洋公益項(xiàng)目的重要課題之一（海洋環(huán)境信息可視化是指將原始的數(shù)據(jù)轉(zhuǎn)換成可供用戶(hù)直觀分析的圖像或圖形，以可視的方式展現(xiàn)給用戶(hù)）。
　　近年來(lái)，伴隨著科學(xué)計(jì)算技術(shù)和海洋觀測(cè)技術(shù)的進(jìn)步與發(fā)展，海洋環(huán)境信息的數(shù)據(jù)量呈爆炸式增長(zhǎng)，對(duì)于大規(guī)模可視化的任務(wù)，單機(jī)計(jì)算機(jī)已經(jīng)遠(yuǎn)遠(yuǎn)達(dá)不到要求。隨著hadoop的日益發(fā)展，越來(lái)越多的項(xiàng)目開(kāi)始使用hadoop作為并行計(jì)算平臺(tái)。所以，將hadoop應(yīng)用于大規(guī)?？梢暬?jì)算，是解決以上問(wèn)題

2、的有效方案。高性能并行計(jì)算已經(jīng)推廣，作為新領(lǐng)域的并行計(jì)算，非常有利于巨大數(shù)據(jù)量的處理和計(jì)算，尤其是GPU的飛速成長(zhǎng)，以及英偉達(dá)公司推出的CUDA應(yīng)用越來(lái)越廣泛，GPU受到了越來(lái)越多人的關(guān)注。
　　和CPU相似，在GPU內(nèi)部有很多核芯，這些核芯可以并行執(zhí)行，由于GPU內(nèi)顯卡核芯數(shù)遠(yuǎn)遠(yuǎn)高于CPU，所以GPU的性能大大超過(guò)了CPU。在其他指標(biāo)，如能量消耗、帶寬等方面也有很大的優(yōu)勢(shì)。為了提高海洋環(huán)境信息可視化的計(jì)算效率和實(shí)時(shí)性，將GPU與

3、hadoop進(jìn)行強(qiáng)強(qiáng)聯(lián)合，共同應(yīng)用于可視化計(jì)算，已經(jīng)成為了一個(gè)很好的解決途徑。本文根據(jù)海洋公益項(xiàng)目對(duì)海洋環(huán)境信息可視化精度和計(jì)算效率的要求，研究了將GPU高效融入hadoop的可行方案，并設(shè)計(jì)出了GPU-Hadoop體系，并將可視化計(jì)算成功部署到該框架中。為了追求更高的加速比，本文對(duì)設(shè)計(jì)出的GPU-hadoop體系中的任務(wù)分配調(diào)度進(jìn)行了相應(yīng)的優(yōu)化。
　　本文完成的工作主要有：1、在分析hadoop特性和GPU優(yōu)勢(shì)的基礎(chǔ)上，研究了將

4、GPU合理結(jié)合hadoop的可行方案，并根據(jù)我們實(shí)驗(yàn)環(huán)境和可行性，提出了一套完整的將GPU結(jié)合hadoop的解決方法，該方法不僅對(duì)海洋環(huán)境信息可視化有效，對(duì)其他項(xiàng)目也有很強(qiáng)的適用性。2、在搭建的GPU-hadoop體系下，使用了數(shù)據(jù)動(dòng)態(tài)處理器來(lái)對(duì)CPU傳給GPU的數(shù)據(jù)進(jìn)行拆分和組裝，以此來(lái)提升GPU的計(jì)算效率；同時(shí)使用stream，達(dá)到了GPU和CPU的并行，很好的提高了框架的計(jì)算性能。3、將海洋環(huán)境信息可視化計(jì)算部署在搭建好的框架中，