Storm集群的高可用性關鍵技術研究.pdf

1、近年來，諸多大數(shù)據(jù)環(huán)境下的應用呈現(xiàn)數(shù)據(jù)多源并發(fā)、數(shù)據(jù)聚合、在線實時處理的特征。原本承載著海量數(shù)據(jù)處理任務的Hadoop MapReduce計算框架，在實時數(shù)據(jù)處理方面，存在響應時間和及時性方面的諸多限制。這促進了實時數(shù)據(jù)處理相關技術的迅速發(fā)展，實時計算成為了目前大數(shù)據(jù)領域的研究熱點。
　　Storm作為應用于實時數(shù)據(jù)處理領域的大數(shù)據(jù)處理工具，可以簡單可靠地處理大量數(shù)據(jù)流，具有廣泛的應用場景，國內外很多企業(yè)都在研究和構建基于Stor

2、m的實時計算系統(tǒng)。但是早期的Storm集群中，Nimbus節(jié)點只有一個，存在分布式系統(tǒng)中的單點故障問題，降低了集群的可用性，很難保證對外提供持續(xù)不間斷的服務。而且在現(xiàn)如今的實際生產環(huán)境中，集群版本和業(yè)務類型復雜多樣，Storm自身又缺少完整的監(jiān)控運維系統(tǒng)，如果不能及時發(fā)現(xiàn)異常情況，將給企業(yè)和用戶造成難以預計的損失。如何避免損失，實現(xiàn)Storm集群的高可用性，成為企業(yè)不得不面臨的一個重要問題。
　　本文首先研究了實時計算系統(tǒng)Stor

3、m，詳細分析了Storm的工作原理、作業(yè)提交處理流程以及各個節(jié)點的工作機制。針對Nimbus的單點故障問題，進一步分析了分布式協(xié)調系統(tǒng)Zookeeper，對其體系結構、數(shù)據(jù)模型、ZAB協(xié)議以及典型的應用場景進行了深入的研究。在此基礎上，分析探討一種基于Zookeeper的實現(xiàn)單個Storm集群自動故障切換的高可用性解決方案，并從領導選舉與故障轉移、Topology代碼共享存儲、客戶端與Nimbus通信等方面進行了詳細的闡述。結合當前企業(yè)

4、的多集群工作環(huán)境，提出一種基于Zookeeper的多集群Storm高可用性解決方案，集群間提供冗余機制，當一個集群整體故障時可以快速把拓撲遷移到其他集群。通過制定計劃任務和實現(xiàn)實時報警服務完善監(jiān)控運維模塊，實時監(jiān)控集群狀況和拓撲運行狀態(tài)，保證集群的高效穩(wěn)定。
　　最后，通過搭建實驗環(huán)境對高可用性解決方案進行測試，驗證了該方案的可行性和有效性。實驗結果表明，該方案能夠及時發(fā)現(xiàn)定位問題并完成故障恢復工作，提高了Storm集群的可用性。