結(jié)構(gòu)化存儲(chǔ)系統(tǒng)中元數(shù)據(jù)集群的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著技術(shù)的發(fā)展與信息數(shù)字化的推進(jìn)，大量的數(shù)據(jù)需要被永久存儲(chǔ)，而且存儲(chǔ)的容量也呈指數(shù)上升。在海量數(shù)據(jù)的時(shí)代，如何有效存儲(chǔ)大規(guī)模數(shù)據(jù)，并且提供常用接口是一個(gè)研究的熱點(diǎn)。結(jié)構(gòu)化數(shù)據(jù)發(fā)展多年，形成了大家都易于接受的接口和一系列標(biāo)準(zhǔn)，但是關(guān)系型數(shù)據(jù)其存儲(chǔ)容量的限制使得它很難適應(yīng)海量數(shù)據(jù)的需求。本文通過(guò)對(duì)分布式存儲(chǔ)技術(shù)的分析研究，結(jié)合當(dāng)前的主流存儲(chǔ)相關(guān)的產(chǎn)品的設(shè)計(jì)思路與應(yīng)用需求，提出了海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的一套合理的解決方案，并且實(shí)現(xiàn)了一個(gè)結(jié)構(gòu)化存儲(chǔ)

2、系統(tǒng)。系統(tǒng)利用分布式思想，將結(jié)構(gòu)化數(shù)據(jù)分拆成很多分片，各個(gè)分片獨(dú)立存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)之上，充分利用各個(gè)節(jié)點(diǎn)的存儲(chǔ)資源。
　　本研究主要內(nèi)容包括：⑴結(jié)構(gòu)化存儲(chǔ)系統(tǒng)的設(shè)計(jì)，利用分布式思想，將系統(tǒng)分別部署在多個(gè)節(jié)點(diǎn)之上，然后將對(duì)數(shù)據(jù)的操作分割成多個(gè)相互較為獨(dú)立的子過(guò)程，然后由各個(gè)獨(dú)立部署的服務(wù)節(jié)點(diǎn)完成相應(yīng)的功能。⑵系統(tǒng)元數(shù)據(jù)集群的設(shè)計(jì)實(shí)現(xiàn)。使用集群技術(shù)來(lái)存儲(chǔ)海量的元數(shù)據(jù)信息，以滿足整個(gè)系統(tǒng)的存儲(chǔ)需求，利用Epoll非阻塞的通信技術(shù)提高

3、系統(tǒng)的網(wǎng)絡(luò)吞吐量，避免由于元數(shù)據(jù)集群的讀寫性能成為制約整個(gè)系統(tǒng)性能的瓶頸。同時(shí)實(shí)現(xiàn)集群內(nèi)部的負(fù)載均衡調(diào)度，根據(jù)集群本身的特點(diǎn)，通過(guò)集中式的調(diào)度管理策略來(lái)實(shí)現(xiàn)整個(gè)集群內(nèi)部的訪問(wèn)熱點(diǎn)和存儲(chǔ)的負(fù)載均衡。⑶系統(tǒng)元數(shù)據(jù)集群的容錯(cuò)設(shè)計(jì)實(shí)現(xiàn)。為元數(shù)據(jù)集群設(shè)計(jì)副本冗余和雙機(jī)熱備冗余相結(jié)合的容錯(cuò)方案，其中對(duì)調(diào)度節(jié)點(diǎn)實(shí)現(xiàn)雙機(jī)熱備冗余的容錯(cuò)系統(tǒng)，對(duì)存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)多副本控制的容錯(cuò)方案，提高集群的可靠性和健壯性。通過(guò)功能測(cè)試和壓力測(cè)試的數(shù)據(jù)表明，整個(gè)結(jié)構(gòu)化存儲(chǔ)系統(tǒng)