基于hilbert劃分的并行矢量數(shù)據(jù)索引算法研究.pdf

1、現(xiàn)代信息技術(shù)發(fā)展日新月異，數(shù)據(jù)庫(kù)技術(shù)以及文件系統(tǒng)組織方式隨著大數(shù)據(jù)量的增長(zhǎng)發(fā)生了巨大的變化。GIS技術(shù)將傳統(tǒng)的信息技術(shù)運(yùn)用于空間信息領(lǐng)域，其特有的數(shù)據(jù)模型以及相關(guān)處理算法都是和傳統(tǒng)的信息技術(shù)領(lǐng)域聯(lián)系在一起的。隨著現(xiàn)如今云計(jì)算，分布式處理及并行網(wǎng)格計(jì)算技術(shù)的逐漸成熟，GIS技術(shù)及其空間數(shù)據(jù)的組織方式必將迎來(lái)新的變革，邁向進(jìn)步迎來(lái)新的發(fā)展階段。
　　本論文通過(guò)將傳統(tǒng)的空間數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)與當(dāng)前信息技術(shù)的熱點(diǎn)技術(shù)，分布式存儲(chǔ)系統(tǒng)技術(shù)相結(jié)合

2、，通過(guò)運(yùn)用分布式存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)空間數(shù)據(jù)庫(kù)的相關(guān)功能。選用Hadoop開(kāi)源分布式技術(shù)，讓空間數(shù)據(jù)的存儲(chǔ)打破傳統(tǒng)的基于行列表文件的數(shù)據(jù)庫(kù)方式，而是采用HDFS分布式文件系統(tǒng)存儲(chǔ)下的并行高可擴(kuò)展可用性模式方式進(jìn)行存儲(chǔ)。并針對(duì)空間數(shù)據(jù)所固有的特點(diǎn)及相關(guān)數(shù)據(jù)模型相關(guān)文件標(biāo)準(zhǔn)等，通過(guò)借鑒傳統(tǒng)空間數(shù)據(jù)庫(kù)中的主要方法 R樹(shù)索引技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一種針對(duì)并行分布式存儲(chǔ)環(huán)境下的空間數(shù)據(jù)索引方法。通過(guò)采用將Hilbert劃分曲線(xiàn)相關(guān)原理算法運(yùn)用于對(duì)空間數(shù)據(jù)集

3、的劃分函數(shù)上，通過(guò)有創(chuàng)意的Hilbert編碼方法，將空間數(shù)據(jù)集通過(guò)希爾伯特編碼值聚類(lèi)排序，有效的解決了分布式數(shù)據(jù)存儲(chǔ)環(huán)境下的空間數(shù)據(jù)劃分的問(wèn)題。并在此基礎(chǔ)上采用并行計(jì)算的框架下構(gòu)建索引集群。
　　通過(guò)運(yùn)用MapReduce編程模型來(lái)解決R樹(shù)索引的批量加載構(gòu)建的問(wèn)題，為矢量數(shù)據(jù)提供了一種索引新方法。實(shí)驗(yàn)結(jié)果分析顯示可以幾近達(dá)到接近線(xiàn)性性能擴(kuò)展的效果。基于Hilbert劃分的并行構(gòu)建索引方法能有效提高構(gòu)建的效率。然而，構(gòu)建的效率并不是