面向超級計算機的海量近線存儲系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著大數(shù)據(jù)時代的來臨，科學(xué)研究、工業(yè)應(yīng)用和網(wǎng)絡(luò)服務(wù)等領(lǐng)域的數(shù)據(jù)規(guī)模正爆炸式增長。當(dāng)前，超級計算機在科學(xué)研究和國民經(jīng)濟建設(shè)中發(fā)揮著非常重要的作用，應(yīng)用領(lǐng)域十分廣泛，具體包括石油勘探數(shù)據(jù)處理、生物醫(yī)藥研究、航空航天裝備研制、衛(wèi)星遙感數(shù)據(jù)處理、金融數(shù)據(jù)分析、氣象預(yù)報和氣候預(yù)測、海洋環(huán)境數(shù)值模擬、土木工程設(shè)計、新材料研發(fā)、基礎(chǔ)科學(xué)研究等。
　　然而，隨著數(shù)據(jù)規(guī)模不斷擴大，超級計算機在處理大數(shù)據(jù)應(yīng)用時仍暴露出一些突出的問題。超級計算機多采用

2、集中共享式存儲系統(tǒng)（如Lustre文件系統(tǒng)等），計算節(jié)點通過內(nèi)部高速互連網(wǎng)絡(luò)與存儲系統(tǒng)相連。通常，每個Lustre系統(tǒng)的容量為1-4PB，實際運行情況表明：當(dāng)Lustre文件系統(tǒng)容量使用率大于70％時，存儲系統(tǒng)會出現(xiàn)不穩(wěn)定現(xiàn)象，使得超級計算機系統(tǒng)的穩(wěn)定性和可用性降低。現(xiàn)在，多個典型的大數(shù)據(jù)應(yīng)用均對超級計算中心的大數(shù)據(jù)存儲提出了越來越高的要求，如要求總的存儲容量達到10PB甚至以上，能與超級計算機的Lustre系統(tǒng)有機融合，等。所以，我們

3、需要研究一種新的存儲結(jié)構(gòu)，構(gòu)建基于超級計算機的層次式存儲系統(tǒng)，有效解決10PB到100PB級海量數(shù)據(jù)存儲的重大技術(shù)挑戰(zhàn)，為越來越多的大數(shù)據(jù)應(yīng)用提供存儲和處理服務(wù)。
　　本文提出了一種基于雙副本和RAID-Z的海量近線存儲系統(tǒng)（TH-MSS）的技術(shù)方案，TH-MSS與超級計算機的Lustre存儲系統(tǒng)相結(jié)合，可實現(xiàn)超級計算機的層次式海量存儲系統(tǒng)，用以解決大數(shù)據(jù)應(yīng)用對海量數(shù)據(jù)存儲的新要求。
　　本文的主要研究工作包括以下幾個方面：

4、
　?。?）分析超級計算機的存儲系統(tǒng)結(jié)構(gòu)，研究利用分級存儲構(gòu)建超級計算機層次式存儲系統(tǒng)的技術(shù)方法。
　　（2）分析基于超級計算機的大數(shù)據(jù)應(yīng)用對海量存儲系統(tǒng)的需求，提出一種基于雙副本和RAID-Z的海量近線存儲系統(tǒng)的技術(shù)方案，研究數(shù)據(jù)遷移管理的相關(guān)技術(shù)方法。
　?。?）設(shè)計實現(xiàn)了TH-MSS存儲策略優(yōu)化和資源管理優(yōu)化方案，研究利用MPI實現(xiàn)多節(jié)點并行數(shù)據(jù)傳輸?shù)募夹g(shù)方法，分析了相關(guān)的關(guān)鍵技術(shù)。
　?。?）利用存儲服務(wù)