云網(wǎng)關上重復數(shù)據(jù)刪除的設計與實現(xiàn).pdf

1、隨著信息時代的發(fā)展,海量數(shù)據(jù)的存儲傳輸成為目前必須解決的一個重要問題。云存儲為海量數(shù)據(jù)的存儲提供了很好的解決方案,但是缺乏標準化的云存儲應用程序編程接口,極大的限制了云存儲的應用。
　　缺乏標準化的云存儲應用程序編程接口使云網(wǎng)關成為云存儲必不可少的重要組成部分,云網(wǎng)關已經(jīng)成為應用和云提供商應用程序編程接口之間協(xié)議的翻譯,但是由于云網(wǎng)關很少支持企業(yè)級的其它服務,限制了它的應用范圍,目前大部分被用于歸檔和備份。云網(wǎng)關的問題在于它增加了

2、云存儲的復雜性及限制了云存儲的性能,所以從性能及簡潔性角度來看,它并不適合作為理想的主要應用。
　　針對備份歸檔文件中的高冗余問題,云網(wǎng)關上設計實現(xiàn)重復數(shù)據(jù)刪除功能,能為云網(wǎng)關與云平臺間的通信減少網(wǎng)絡帶寬同時減小數(shù)據(jù)在云平臺上的存儲容量。云網(wǎng)關上的重復數(shù)據(jù)刪除功能的設計與實現(xiàn)主要包括在云網(wǎng)關上對文件分塊,將分塊文件計算數(shù)據(jù)指紋,將數(shù)據(jù)指紋與哈希表中指紋進行比對,丟棄重復數(shù)據(jù),將文件信息和非重復的數(shù)據(jù)分離獨立保存在Swift云平臺上