面向大規(guī)模數(shù)據(jù)的分布式存儲系統(tǒng)可靠性保障技術(shù)研究.pdf

1、大規(guī)模數(shù)據(jù)存儲面臨著數(shù)據(jù)容量大、數(shù)據(jù)結(jié)構(gòu)復雜、基礎(chǔ)設(shè)施異構(gòu)、失效常態(tài)化等問題。高效的、去中心化的元數(shù)據(jù)管理方案對大型分布式存儲系統(tǒng)的可靠性、可擴展性具有重要作用。動態(tài)的、自適應(yīng)的副本機制對系統(tǒng)I/O響應(yīng)性能、容錯性和存儲利用率有很大影響。現(xiàn)有相關(guān)工作在可擴展性、數(shù)據(jù)遷移、數(shù)據(jù)結(jié)點負載均衡等方面存在一些不足之處。
　　首先,針對基于哈希的劃分和基于子樹劃分的元數(shù)據(jù)管理方案擴展代價巨大以及對集群變動敏感等問題,提出一種基于一致性哈希結(jié)

2、構(gòu)的MDS(MetaData Server)集群化方案—CH-MMS。CH-MMS在一致性MDS集群上引入虛擬MDS,有效平衡MDS集群負載;將Standby機制與延遲更新策略融合并應(yīng)用于MDS集群,實現(xiàn)MDS快速失效恢復以及集群變動時零數(shù)據(jù)遷移量。闡述了CH-MMS的體系結(jié)構(gòu),介紹了核心數(shù)據(jù)結(jié)構(gòu)LayoutTable、虛擬MDS結(jié)構(gòu)、延遲更新機制以及相關(guān)算法,并對CH-MMS擴展性、容錯性作了定性分析。
　　其次,針對分布式存儲

3、系統(tǒng)中結(jié)點失效的不可避免性,在CH-MMS作為元數(shù)據(jù)服務(wù)組件的基礎(chǔ)上,提出一種基于文件支持度的文件熱度評價模型。該模型通過周期性的參數(shù)調(diào)整,使其能夠自適應(yīng)系統(tǒng)不斷變化的負載狀態(tài),盡可能做出反映系統(tǒng)實際狀態(tài)的副本決策。提出一種數(shù)據(jù)結(jié)點分群算法,根據(jù)整體負載狀況對數(shù)據(jù)結(jié)點進行劃分,避免片面性。在該模型基礎(chǔ)上實現(xiàn)數(shù)據(jù)結(jié)點負載均衡調(diào)整算法、文件支持度動態(tài)調(diào)整算法和惰性副本清理算法,達到副本動態(tài)自適應(yīng)調(diào)整的目的。
　　最后,通過理論分析和原