基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法研究.pdf

1、分類號(hào)：UDC：密級(jí)：?jiǎn)挝淮a：!QQZ璺華北水利水電大學(xué)碩士學(xué)位論文基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法研究BIGDATAENCRYPTIONALGORITHMBASEDONDATADEDUPLICATIONTECHNOLOGY2013年5月摘要基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法研究摘要大數(shù)據(jù)具有大量(Volume)、多樣化(Variety)、快速化(Velocity)和價(jià)值高、密度低(HighValueandLowDensity)的基本特

2、征，通常指使用傳統(tǒng)流程或工具無法進(jìn)行高效處理和分析的數(shù)據(jù)。近年來，云計(jì)算、物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)等技術(shù)的快速發(fā)展，推助網(wǎng)絡(luò)承載的數(shù)據(jù)量急劇增加，傳統(tǒng)的加密存儲(chǔ)技術(shù)和管理方式己很難滿足大數(shù)據(jù)在速度、容量、存儲(chǔ)效率和安全性等方面的要求。大數(shù)據(jù)環(huán)境下，用戶的數(shù)據(jù)安全與隱私保護(hù)面臨著巨大的沖擊與挑戰(zhàn)，引起了工業(yè)界和學(xué)術(shù)界的高度關(guān)注。針對(duì)大數(shù)據(jù)加密方案中目前存在的速度慢、實(shí)時(shí)性差、效率低等問題，探索了一種基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法，論文的主要研究

3、內(nèi)容和創(chuàng)新點(diǎn)包括：1大數(shù)據(jù)通用加密模型及加密技術(shù)原理研究。在對(duì)大數(shù)據(jù)基本特征及通用加密模型進(jìn)行系統(tǒng)研究的基礎(chǔ)上，深入剖析了基于現(xiàn)代密碼體制、基于生物工程、基于屬性基和基于并行計(jì)算四類大數(shù)據(jù)加密方案的技術(shù)原理和優(yōu)缺點(diǎn)。2提出了一種基于Bloomfilter技術(shù)的大數(shù)據(jù)消冗算法。根據(jù)大數(shù)據(jù)信息海量、數(shù)據(jù)量增長(zhǎng)快、數(shù)據(jù)類型多樣化、密度低和冗余度高等基本特征，深入研究了完全文件、固定長(zhǎng)度塊、變長(zhǎng)分塊和滑動(dòng)窗口4種消冗方案的匹配精度、時(shí)問開銷和空

4、問開銷等性能。采用Bloomfilter技術(shù)對(duì)大數(shù)據(jù)進(jìn)行降維處理，在集合完全文件檢測(cè)技術(shù)計(jì)算速度快、Bloomfilter空問和查詢效率高效和變長(zhǎng)分塊檢測(cè)方案額外開銷少優(yōu)點(diǎn)的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一種適用于大數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測(cè)及刪除算法。實(shí)驗(yàn)結(jié)果表明，新算法在時(shí)間開銷、空問開銷和匹配精度方面具有良好的性能，在保證檢測(cè)重復(fù)率的同時(shí)，速度也達(dá)到了令人滿意的效果。3提出了一種基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法。在對(duì)大數(shù)據(jù)進(jìn)行消冗處理的基礎(chǔ)上，結(jié)合