海量數(shù)據(jù)查詢優(yōu)化算法的研究.pdf

1、長春工業(yè)大學(xué)碩士學(xué)位論文摘要隨著計算機應(yīng)用系統(tǒng)和網(wǎng)絡(luò)技術(shù)不斷的發(fā)展和完善，當(dāng)前，越來越多的商業(yè)和政府部門都需要操作海量數(shù)據(jù)，如物流行業(yè)、水利部門、科研部門等這些部門處理的數(shù)據(jù)量通常都非常大。并且當(dāng)前的數(shù)據(jù)包括報表、文字、聲音、圖像、等各種不同種類和層次的信息，這些數(shù)據(jù)有著巨大的價值。當(dāng)數(shù)據(jù)庫的數(shù)據(jù)量過大時，會出現(xiàn)系統(tǒng)效率低、消耗大等問題；另一方面數(shù)據(jù)里也有很多無用的冗余，設(shè)計人員需要在存儲、管理、處理、優(yōu)化等各個環(huán)節(jié)中加以處理，提取出所

2、需要的信息。所以海量數(shù)據(jù)存儲管理在各行業(yè)的信息化過程中越來越重要，受到了業(yè)內(nèi)人士的廣泛關(guān)注，因此對海量數(shù)據(jù)存儲查詢算法的研究就很必要。本文綜述了海量數(shù)據(jù)管理技術(shù)的研究及應(yīng)用現(xiàn)狀，在介紹了數(shù)據(jù)庫的存儲優(yōu)化數(shù)據(jù)管理的基礎(chǔ)上，基于索引應(yīng)用、top—k查詢算法、SQL語句、頁面分割等方面的一些優(yōu)化算法和技術(shù)，提出了一整套綜合性的優(yōu)化方案，并給出了具體操作和實驗數(shù)據(jù)，最后設(shè)計與實現(xiàn)了大型房產(chǎn)收費系統(tǒng)，收費系統(tǒng)在各個環(huán)節(jié)細(xì)致設(shè)計、全面優(yōu)化。經(jīng)實驗測

3、試后，可以明顯看出房產(chǎn)收費系統(tǒng)的運行和查詢速度有了明顯的提高。由此可見，文中采用的優(yōu)化文法對海量數(shù)據(jù)的查詢優(yōu)化是正確有效的。關(guān)鍵詞：海量數(shù)據(jù)查詢優(yōu)化top—k查詢長春工業(yè)大學(xué)碩士學(xué)位論文目錄摘要IAbstract工I第一章引言111研究背景112課題研究的目的和意義213課題研究的現(xiàn)狀314課題研究的主要內(nèi)容315論文組織結(jié)構(gòu)4第二章海量數(shù)據(jù)的存儲的研究521海量數(shù)據(jù)存儲相關(guān)技術(shù)和算法5211海量數(shù)據(jù)的一般存儲策略研究5212海量數(shù)據(jù)的

4、存儲模式722房產(chǎn)收費系統(tǒng)存儲方案設(shè)計9221海量數(shù)據(jù)存儲介質(zhì)的優(yōu)化9222存儲分區(qū)和碎片整理機制的優(yōu)化13223系統(tǒng)存儲模式的設(shè)計1523實驗對比1624本章小結(jié)17第三章海量數(shù)據(jù)查詢優(yōu)化算法的研究1831基于精確查詢的優(yōu)化處理技術(shù)18311并行分離技術(shù)18312數(shù)據(jù)聚集19313哈希表查詢19314分布式查詢優(yōu)化1932基于近似查詢技術(shù)優(yōu)化處理技術(shù)20321抽樣技術(shù)20322直方圖技術(shù)2033Top—k查詢算法20331經(jīng)典的Top