科學與統(tǒng)計數據庫壓縮與查詢處理方法的研究.pdf

1、在信息量呈指數級增長的今天，我們需要數據庫管理系統(tǒng)（DBMS）能夠處理上G、上T、甚至上P的海量數據。這就對數據庫管理系統(tǒng)提出了挑戰(zhàn)，即如何有效地存儲和管理海量數據并高效的支持上層的查詢。
　　海量科學與統(tǒng)計數據（例如：地震監(jiān)測、天氣預報、物理化學實驗等數據）中存在著大量的數據冗余，即相同的數據會在不同的地方多次重復出現，這不僅浪費了存儲空間，而且降低了查詢效率。壓縮技術由于節(jié)省存儲空間和I/O帶寬而被廣泛應用于數據的存儲和傳輸中

2、。正是海量數據的出現，使得壓縮技術與數據庫技術結合了起來，產生了壓縮數據庫技術。壓縮數據庫技術的研究內容包括數據壓縮算法及壓縮數據上的查詢算法。
　　科學與統(tǒng)計數據庫(ScientificandStatisticalDatabase,SSDB)具有如下特點：（1）關系的模式穩(wěn)定、屬性值的值域有限、數據冗余大；（2）新產生的數據只追加到當前數據末尾而不更新已有內容；（3）每個關系都由大量屬性組成，但大多數查詢只與少數幾個屬性相關且多

3、為只讀操作。上述特征都適合于將壓縮數據庫技術集成到SSDB中去。因此，本文的研究內容包括：
　　研究適合于科學與統(tǒng)計數據庫的數據壓縮算法及存儲結構；研究在壓縮科學與統(tǒng)計數據庫上的查詢處理技術，包括數據操作算法和查詢優(yōu)化算法。
　　本文的主要研究結果如下：
　　提出了適合科學與統(tǒng)計數據庫的兩種數據壓縮存儲策略，其分別為CCSS(Column-CompressedStorageSystem)和RCSS(Row-Compre

4、ssedStorageSystem)。CCSS是一個按列壓縮存儲系統(tǒng)，它采用不同的存儲結構和編碼，以不同粒度對關系中的屬性按列存儲并壓縮，從而將對原始數據的查詢操作轉換為對（壓縮）數據的操作，實現不解壓直接查詢，簡化了查詢實現。RCSS是一個基于字典壓縮的按行存儲系統(tǒng)。本文詳細介紹了RCSS的壓縮存儲結構（包括編碼字典和壓縮數據頁的格式、系統(tǒng)字典的擴充）以及具體的壓縮、插入和刪除算法。RCSS與非壓縮數據庫存儲系統(tǒng)提供相同的接口，可以在

5、維持現有系統(tǒng)上層模塊（索引、查詢處理等）不變的情況下，實現壓縮技術與數據庫系統(tǒng)的有效結合。RCSS的壓縮方法具有簡單、通用的特點，理論分析表明RCSS壓縮的有效性；
　　針對CCSS這種存儲策略，給出了相應的數據操作算法，包括選擇、投影和連接；
　　給出了CCSS上查詢的優(yōu)化策略；
　　利用上述思想設計并實現了一個壓縮科學與統(tǒng)計數據庫原型系統(tǒng)My_SSDB。理論分析和初步實驗表明，通過壓縮和以不同粒度按列存儲，系統(tǒng)能夠