基于對象的分布式文件系統(tǒng)中事務性存儲設備的研究與實現(xiàn).pdf

1、云技術的快速發(fā)展使得人們能夠越來越方便的獲得計算和存儲資源。而智能手持設備的普及，使得人們能越來越方便的獲取和產(chǎn)生數(shù)據(jù)，由于智能手持設備本身的局限性，使得人們越來越多的依賴于云計算系統(tǒng)。因此如何保證云計算系統(tǒng)中數(shù)據(jù)的可靠性是一個非常重要和急需解決的問題。
　　 事務機制是提高數(shù)據(jù)可靠性的重要方式。作者在清華大學高性能計算研究所參與屬于863重點項目“海量存儲系統(tǒng)關鍵技術”的對象分布式文件系統(tǒng)—Mangix研發(fā)，具體負責對象存儲設

2、備上事務機制的研究與實現(xiàn)，通過在對象存儲設備中增加事務機制，提高數(shù)據(jù)的可靠性，同時通過構建數(shù)據(jù)與元數(shù)據(jù)緩存，提高存儲設備的I/O性能。主要內(nèi)容包括:
　　 1)在分析分布式文件系統(tǒng)中數(shù)據(jù)和元數(shù)據(jù)的訪問與管理特點以及SSD設備特性的基礎上，針對對象存儲系統(tǒng)和SSD設備的特性，設計了事務性對象存儲設備的結(jié)構。
　　 2)在分析基于對象分布式文件系統(tǒng)中固態(tài)存儲設備可靠性問題的基礎上，針對SSD的組織特性，設計了基于對象的數(shù)據(jù)緩

3、存策略;在分析現(xiàn)有OSD命令傳遞方法的基礎上，設計了支持事務的OSD命令集;利用SSD異地更新的特性，引入兩階段提交協(xié)議，提出并設計了基于RAID5的數(shù)據(jù)寫事務機制。實現(xiàn)了支持RAID5數(shù)據(jù)寫事務機制的對象存儲設備原型系統(tǒng)，使用存儲系統(tǒng)性能通用測試工具postmark產(chǎn)生郵件和電子商務類型的大量小文件負載，測試了原型系統(tǒng)的IOPS和吞吐率，驗證了基于RAID5數(shù)據(jù)寫事務機制在提高對象存儲設備可靠性的同時，還能提高90％左右的性能。

4、>　　 3)針對分布式文件系統(tǒng)中元數(shù)據(jù)操作需要多個不同存儲節(jié)點共同完成的特性，提出并設計了基于組合操作的元數(shù)據(jù)事務機制和基于對象的元數(shù)據(jù)緩存策略;設計了事務性元數(shù)據(jù)操作處理策略、事務日志和提交消息處理策略、消息控制策略。在支持RAID5數(shù)據(jù)寫事務機制對象存儲設備原型系統(tǒng)的基礎上，增加了基于組合操作的元數(shù)據(jù)事務機制，使用存儲系統(tǒng)通用測試工具postmark產(chǎn)生郵件和電子商務類型的大量小文件負載，測試了原型系統(tǒng)的IOPS和吞吐率，結(jié)果顯示