云存儲(chǔ)系統(tǒng)中基于溯源關(guān)系的文件查詢(xún)與管理方法研究.pdf

1、隨著備份、歸檔、視頻等網(wǎng)絡(luò)服務(wù)的廣泛應(yīng)用，云存儲(chǔ)系統(tǒng)的規(guī)模越來(lái)越大，給文件訪問(wèn)的性能帶來(lái)挑戰(zhàn)。用戶(hù)在訪問(wèn)文件之前需依靠文件查詢(xún)來(lái)確定待訪問(wèn)的文件及其地址，因此需要提高文件查詢(xún)的性能。而現(xiàn)有的元數(shù)據(jù)查詢(xún)方法無(wú)法有效地支持文件的高性能查詢(xún)，因此需要挖掘更多的文件相關(guān)性來(lái)提高元數(shù)據(jù)查詢(xún)的性能。云存儲(chǔ)系統(tǒng)中，大部分的數(shù)據(jù)都處于冷數(shù)據(jù)狀態(tài)，被存儲(chǔ)在價(jià)格便宜、性能較差的設(shè)備上。有些應(yīng)用需要保證高效的冷數(shù)據(jù)訪問(wèn)性能，因此需要通過(guò)分析冷數(shù)據(jù)文件在文件訪

2、問(wèn)以及文件屬性的相關(guān)性來(lái)提高文件管理的性能，建立一個(gè)高效的冷數(shù)據(jù)的分布及其元數(shù)據(jù)的索引結(jié)構(gòu)?，F(xiàn)在，大數(shù)據(jù)存儲(chǔ)及其網(wǎng)絡(luò)傳輸中視頻已經(jīng)占了65％，這些視頻中大量的近似重復(fù)視頻帶來(lái)了巨大的傳輸和存儲(chǔ)開(kāi)銷(xiāo)。針對(duì)這種特殊文件的應(yīng)用和管理，需要通過(guò)挖掘這些視頻之間的關(guān)系來(lái)提高視頻的存儲(chǔ)空間有效性以及訪問(wèn)速度。因此，挖掘文件之間的相關(guān)性對(duì)于提高云存儲(chǔ)系統(tǒng)中文件訪問(wèn)性能具有重要作用。
　　在云存儲(chǔ)系統(tǒng)中，具有溯源關(guān)系的文件之間具有數(shù)據(jù)相關(guān)性，這種

3、數(shù)據(jù)相關(guān)性導(dǎo)致這些文件具有相同或相似的內(nèi)容，因此從溯源數(shù)據(jù)中可以挖掘到具有溯源關(guān)系的文件相關(guān)性，包括很強(qiáng)的內(nèi)容相似性、屬性相似性和讀寫(xiě)特征的相似性以及較弱的內(nèi)容差異性等。同時(shí)，文件的溯源數(shù)據(jù)記錄了影響這個(gè)文件最終狀態(tài)的所有進(jìn)程和文件，通過(guò)對(duì)溯源數(shù)據(jù)的分析不僅在空間維度上可挖掘到更多文件的相關(guān)性，而且在時(shí)間維度上可以得到文件之間的相關(guān)性的變化，從而可提高文件相關(guān)性度量的精確度。因此，圍繞加快文件訪問(wèn)的速度這一目標(biāo)，本文利用文件相關(guān)特性提出

4、了三種優(yōu)化方法。
　　(1)針對(duì)云存儲(chǔ)系統(tǒng)規(guī)模的擴(kuò)大會(huì)降低文件訪問(wèn)所必需的元數(shù)據(jù)查詢(xún)操作的性能的問(wèn)題，提出了一種挖掘具有溯源關(guān)系的文件之間的內(nèi)容相似性的元數(shù)據(jù)查詢(xún)方法PROMES，通過(guò)在查詢(xún)流程中增加關(guān)系圖查詢(xún)減少元數(shù)據(jù)索引樹(shù)中的查詢(xún)范圍而加快了查詢(xún)速度，通過(guò)引入關(guān)系的時(shí)效性和文件的權(quán)重兩個(gè)參數(shù)提高了關(guān)系圖中文件相關(guān)性度量的準(zhǔn)確性而增加了查詢(xún)準(zhǔn)確率。PROMES中的元數(shù)據(jù)查詢(xún)分為三步：通過(guò)一個(gè)相關(guān)性感知的元數(shù)據(jù)索引樹(shù)來(lái)定位到一些文

5、件的元數(shù)據(jù)作為種子。絕大部分的種子滿(mǎn)足查詢(xún)條件，然后使用種子在根據(jù)溯源關(guān)系所生成的關(guān)系圖中查詢(xún)剩余的查詢(xún)結(jié)果，最后進(jìn)行排序并精簡(jiǎn)以得到最終的查詢(xún)結(jié)果。因?yàn)橛伤菰搓P(guān)系生成的關(guān)系圖具有文件相關(guān)性緊密、輕量索引的特點(diǎn)，所以PROMES具有顯著的高查詢(xún)準(zhǔn)確率和低延遲的優(yōu)點(diǎn)。實(shí)驗(yàn)測(cè)試表明：PROMES比現(xiàn)在最新的元數(shù)據(jù)查詢(xún)方法減小了1到2個(gè)數(shù)量級(jí)的查詢(xún)時(shí)間，并具有更高的查詢(xún)準(zhǔn)確率。
　　(2)針對(duì)云存儲(chǔ)服務(wù)供應(yīng)商通常在低功耗的設(shè)備上存儲(chǔ)冷數(shù)

6、據(jù)文件及其元數(shù)據(jù)而導(dǎo)致文件訪問(wèn)速度受限的問(wèn)題，提出了一種基于溯源關(guān)系中文件的屬性和訪問(wèn)特征相似性的冷數(shù)據(jù)分布及其元數(shù)據(jù)索引機(jī)制，通過(guò)挖掘具有溯源關(guān)系的文件之間的訪問(wèn)特征相似性調(diào)整文件的分布狀態(tài)減少訪問(wèn)冷數(shù)據(jù)文件的等待時(shí)間并節(jié)省能源，通過(guò)挖掘具有溯源關(guān)系的文件之間的元數(shù)據(jù)相似性對(duì)文件元數(shù)據(jù)進(jìn)行邏輯分組減少冷數(shù)據(jù)文件的元數(shù)據(jù)查詢(xún)的延時(shí)。這個(gè)機(jī)制包含兩個(gè)方法：基于溯源關(guān)系中文件的訪問(wèn)特征相似性的冷數(shù)據(jù)重分布方法Prodi和基于溯源關(guān)系中文件的

7、屬性特征相似性的冷數(shù)據(jù)元數(shù)據(jù)索引方法P-index。通過(guò)測(cè)試表明Prodi節(jié)省了25%能源，而P-index的性能比現(xiàn)有的元數(shù)據(jù)索引結(jié)構(gòu)減少了1到2個(gè)數(shù)量級(jí)的查詢(xún)時(shí)間開(kāi)銷(xiāo)。
　　(3)針對(duì)云存儲(chǔ)系統(tǒng)中大量的近似重復(fù)視頻降低了用戶(hù)的體驗(yàn)質(zhì)量，并消耗了服務(wù)供應(yīng)商的很多資源的問(wèn)題，提出了一種基于溯源關(guān)系中文件的內(nèi)容差異性的視頻壓縮與傳輸機(jī)制Provis，利用視頻的溯源數(shù)據(jù)能夠支持視頻重建和記錄了具有溯源關(guān)系的視頻之間內(nèi)容差異的溯源數(shù)據(jù)的

8、大小遠(yuǎn)小于視頻文件的特性，通過(guò)保存視頻的溯源數(shù)據(jù)來(lái)替代保存視頻的方法壓縮近似視頻而提高存儲(chǔ)系統(tǒng)的空間有效性，通過(guò)上傳視頻的溯源數(shù)據(jù)后再在云端重建視頻的方法來(lái)替代直接上傳視頻而加快了視頻上傳的速度并減少上傳的網(wǎng)絡(luò)開(kāi)銷(xiāo)。通過(guò)兩個(gè)視頻數(shù)據(jù)集的測(cè)試比較了Provis與其它現(xiàn)存的視頻壓縮技術(shù)，結(jié)果顯示Provis能夠顯著節(jié)省空間并降低視頻上傳的網(wǎng)絡(luò)開(kāi)銷(xiāo)，溯源圖的存儲(chǔ)開(kāi)銷(xiāo)和視頻重建的時(shí)延在用戶(hù)可接受范圍內(nèi)。
　　綜上所述，本文主要解決云存儲(chǔ)系