基于Hadoop的廣電監(jiān)測(cè)數(shù)據(jù)管理云平臺(tái)設(shè)計(jì).pdf

1、隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)進(jìn)入了大數(shù)據(jù)的時(shí)代，每天都會(huì)產(chǎn)生許許多多的各類數(shù)據(jù)。廣電系統(tǒng)的監(jiān)測(cè)設(shè)備同樣也會(huì)產(chǎn)生越來越多各個(gè)類型的數(shù)據(jù)，然而傳統(tǒng)的廣電數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)采用集中處理的方式，在巨大數(shù)據(jù)的沖擊下出現(xiàn)了瓶頸。
　　海量數(shù)據(jù)的存儲(chǔ)與管理在近些年一直在被研究。在許多開源社區(qū)的推動(dòng)下，分布式數(shù)據(jù)的存儲(chǔ)管理技術(shù)得到巨大的發(fā)展，多種多樣的計(jì)算框架以及平臺(tái)被提出來。Hadoop作為分布式計(jì)算平臺(tái)中的翹楚在通信、醫(yī)療和金融等各大

2、領(lǐng)域都有了一定的研究和應(yīng)用。廣電監(jiān)測(cè)系統(tǒng)產(chǎn)生的數(shù)據(jù)主要是結(jié)構(gòu)化的文本數(shù)據(jù)和視頻音頻信號(hào)等非結(jié)構(gòu)化數(shù)據(jù)。由于需要解決大量數(shù)據(jù)的處理，符合大數(shù)據(jù)平臺(tái)處理標(biāo)準(zhǔn)。所以本文將Hadoop這種分布式數(shù)據(jù)存儲(chǔ)與管理的技術(shù)運(yùn)用到廣電系統(tǒng)中以解決數(shù)據(jù)計(jì)算的瓶頸問題。本文主要研究的內(nèi)容如下：
　　1、對(duì)HDFS文件系統(tǒng)和MapReduce并行計(jì)算框架進(jìn)行分析，以及對(duì)文本數(shù)據(jù)搜索和視頻數(shù)據(jù)的轉(zhuǎn)碼進(jìn)行研究。根據(jù)廣電系統(tǒng)的數(shù)據(jù)處理需求，提出一個(gè)系統(tǒng)設(shè)計(jì)的解

3、決方案。
　　2、為解決平臺(tái)對(duì)廣電監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)數(shù)據(jù)的傳輸、處理和節(jié)點(diǎn)信息監(jiān)控等問題，本文主要研究了海量數(shù)據(jù)存儲(chǔ)和管理平臺(tái)的數(shù)據(jù)節(jié)點(diǎn)信息管理及優(yōu)化、數(shù)據(jù)上傳下載的轉(zhuǎn)存和傳輸模塊設(shè)計(jì)、文本數(shù)據(jù)的搜索和監(jiān)控視頻數(shù)據(jù)的分布式轉(zhuǎn)碼和存儲(chǔ)。
　　最后對(duì)本文設(shè)計(jì)的海量數(shù)據(jù)管理系統(tǒng)進(jìn)行自動(dòng)化數(shù)據(jù)測(cè)試，通過對(duì)數(shù)據(jù)存儲(chǔ)和管理平臺(tái)的各類數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)上傳和下載速度、文本數(shù)據(jù)的搜索和視頻數(shù)據(jù)的分布式轉(zhuǎn)碼測(cè)試和分析?？梢缘玫綄?shí)驗(yàn)結(jié)果：Hadoop云平