基于YARN的FPGA異構(gòu)集群系統(tǒng)研究.pdf

1、近年來(lái)，在Hadoop平臺(tái)上集成FPGA進(jìn)行算法加速的研究受到了廣泛關(guān)注。通過(guò)利用Hadoop將計(jì)算過(guò)程在節(jié)點(diǎn)之間并行，以及在單個(gè)計(jì)算節(jié)點(diǎn)上利用FPGA硬件加速，這些研究對(duì)特定算法的加速上取得了很好的效果。但是，它們大多假設(shè)集群計(jì)算節(jié)點(diǎn)同構(gòu)，沒(méi)有在集群層面對(duì) FPGA加速器資源進(jìn)行統(tǒng)一的管理和調(diào)度，應(yīng)用程序開(kāi)發(fā)復(fù)雜程度高。而且，整個(gè)集群的軟硬件結(jié)構(gòu)為運(yùn)行某一特定的算法高度定制，通用性差，資源利用率較低。另外，受限于 FPGA計(jì)算邏輯固化

2、的特點(diǎn)，已有的在Hadoop集群中管理其他計(jì)算加速設(shè)備的方法不適用于管理FPGA加速器。
　　YARN資源管理平臺(tái)的出現(xiàn)為FPGA資源統(tǒng)一管理提供了可能。結(jié)合FPGA加速器邏輯專用性的特點(diǎn)，采用資源表示維度擴(kuò)充和基于標(biāo)簽的資源調(diào)度相結(jié)合的方法對(duì)YARN平臺(tái)進(jìn)行擴(kuò)展，擴(kuò)展YARN平臺(tái)能夠在包含多種FPGA加速器的異構(gòu)集群中對(duì)FPGA加速器資源進(jìn)行統(tǒng)一的管理和調(diào)度。同時(shí)，擴(kuò)展平臺(tái)隱藏了FPGA加速器在集群中的位置分布，為應(yīng)用程序申請(qǐng)和

3、使用加速器提供了統(tǒng)一的接口。此外，通過(guò)對(duì)YARN平臺(tái)上的計(jì)算框架的資源申請(qǐng)和子任務(wù)執(zhí)行邏輯進(jìn)行擴(kuò)展，擴(kuò)展計(jì)算框架在保持原有計(jì)算模式不變的基礎(chǔ)上具備在運(yùn)行過(guò)程中申請(qǐng)和使用 FPGA加速器的能力。
　　在擴(kuò)展YARN資源管理平臺(tái)下同時(shí)運(yùn)行普通應(yīng)用程序以及FPGA加速的應(yīng)用程序的結(jié)果表明，擴(kuò)展平臺(tái)在具備了 FPGA資源管理和調(diào)度能力的同時(shí)，保持了對(duì)原生YARN平臺(tái)上的各種計(jì)算框架的支持，使得集群通用性和資源利用率都有了很大的提高。在擴(kuò)展