面向大數(shù)據(jù)分析的存儲優(yōu)化算法分析.pdf

1、隨著科技的進步以及網絡的普及,人們的日常工作、生活會產生海量的數(shù)據(jù)信息。如何高效的挖掘這些海量數(shù)據(jù)信息的隱藏信息，是企業(yè)、政府機構未來發(fā)展的關鍵，這就需要大數(shù)據(jù)分析技術。大數(shù)據(jù)分析的前提是如何高效的存儲和查詢這些數(shù)據(jù)信息。在分布式存儲系統(tǒng)中，為了提高大數(shù)據(jù)分析效率，必須提高存儲系統(tǒng)的訪問效率。
　　本文的應用場景是基于在數(shù)據(jù)類型確定，數(shù)據(jù)文件的內容特點明確，數(shù)據(jù)文件內容大小不確定，但是大部分文件較小且用戶對于數(shù)據(jù)訪問的需求特別高。

2、本文針對這一應用場景，提出了結合工程實踐的解決方案。
　　本文針對結構化的大數(shù)據(jù)模型，提出了1種類文件系統(tǒng)的數(shù)據(jù)結構進行數(shù)據(jù)存儲，通過建立數(shù)據(jù)存儲單元、數(shù)據(jù)文件、數(shù)據(jù)頁、數(shù)據(jù)行、數(shù)據(jù)字段等多級存儲結構，實現(xiàn)數(shù)據(jù)的層次存儲，同時該存儲結構通過建立多級索引文件來提高查詢效率。該模型支持行存儲與列存儲模式和數(shù)據(jù)壓縮。用戶可以自主選擇壓縮模式。針對該模型，本文給出了對應的存儲算法。在此基礎上，為了精確管理存儲過程中的內存開銷，本文引入了固