基于Spark的空間數(shù)據(jù)平臺系統(tǒng)的設計與實現(xiàn).pdf

1、空間數(shù)據(jù)，也被稱為地理數(shù)據(jù)?？臻g數(shù)據(jù)是可以由地理坐標系位置表示的感衛(wèi)星監(jiān)測產(chǎn)生的地理信息，如河流，湖泊，城鎮(zhèn)。移動通信網(wǎng)絡中的手機通話信息，城交通網(wǎng)絡中的安裝有GPS的車輛位置信息，社交網(wǎng)絡中產(chǎn)生的帶有位置的信息。充分分析和利用這些空間數(shù)據(jù)將會在環(huán)境處理，通信安全和交通規(guī)劃等領域具有重要作用。物理對象的信息。當前，眾多行業(yè)持續(xù)不斷地產(chǎn)生了大量的空間數(shù)據(jù)。
　　隨著大量有價值的空間數(shù)據(jù)的產(chǎn)生，使用適應于大規(guī)?？臻g數(shù)據(jù)處理的工具對空間

2、數(shù)據(jù)進行分析與處理的需求越來越迫切。但是，當前的關系型數(shù)據(jù)庫技術和分布式計算系統(tǒng)卻并不適合于處理空間數(shù)據(jù)?？臻g數(shù)據(jù)索引結構不適合用關系數(shù)據(jù)庫表達，從而導致關系型數(shù)據(jù)庫處理空間數(shù)據(jù)查詢操作效率低下。由于MapReduce編程模型的缺點，現(xiàn)有的基于HDFS和MapReduce的分布式數(shù)據(jù)分析框架處理交互式查詢和迭代操作時速度較慢。MapReduce模型使用如下方式對數(shù)據(jù)進行處理:首先從集群磁盤中讀取數(shù)據(jù)到內存，對執(zhí)行計算，然后將結果從內存寫

3、到集群磁盤，作為下次計算的輸入。每次計算過程產(chǎn)生的冗余磁盤讀寫開銷使得基于MapReduce的算法實現(xiàn)存在嚴重的性能問題，無法滿足用戶對大規(guī)?？臻g數(shù)據(jù)實時分析的要求。
　　Apache Spark是一個新興的集群計算框架，與MapReduce框架相比，Spark提供內存迭代計算功能。計算數(shù)據(jù)可以常駐內存而省去磁盤I/O時間。在交互式查詢環(huán)境中，比目前最流行的并行計算工具Hadoop快100多倍。隨著Spark框架不斷的更新與發(fā)展，

4、研究人員開始通過擴展Spark實現(xiàn)對空間數(shù)據(jù)的分布式查詢處理。GeoSpark和SpatialSpark是目前為止最先進的系統(tǒng)。他們通過擴展Spark實現(xiàn)了空間數(shù)據(jù)的分布式存儲的查詢操作。這兩個系統(tǒng)的系統(tǒng)框架類似，都主要由三層組成:空間數(shù)據(jù)存儲層，數(shù)據(jù)索引層和查詢處理層，空間數(shù)據(jù)存儲層實現(xiàn)對大規(guī)?？臻g數(shù)據(jù)的分布式存儲。數(shù)據(jù)索引層將傳統(tǒng)的空間索引技術應用于分布式存儲的空間數(shù)據(jù)集群。查詢處理層對用戶提供空間查詢操作接口，通過索引層和存儲層，

5、實現(xiàn)空間數(shù)據(jù)分析。提供的查詢操作包含區(qū)域查詢，空間關聯(lián)查詢和空間k最近鄰查詢。
　　但是GeoSpark和SpatialSpark在設計上仍然存在一系列缺點，導致最終的查詢性能不高。本文，我們通過全面改進上述系統(tǒng)架構，分別使用了新的空間數(shù)據(jù)分區(qū)策略，索引結構和查詢處理技術，設計并實現(xiàn)了一個新的基于Spark的空間數(shù)據(jù)計算系統(tǒng)Spark-GIS，全面的實驗表明，Spark-GIS比上述系統(tǒng)具有更高的查詢性能。Spark-GIS的主要

6、創(chuàng)新包括以下三個方面:
　　1.在空間數(shù)據(jù)存儲層，設計并實現(xiàn)了一個新的空間數(shù)據(jù)分區(qū)策略，使用新的分區(qū)策略實現(xiàn)的空間數(shù)據(jù)分布式存儲為上層的空間數(shù)據(jù)查詢提供了更好的支持，確?？臻g數(shù)據(jù)查詢時避免工作負載均衡問題。
　　2.在空間數(shù)據(jù)索引層，設計并實現(xiàn)了一種基于Voronoi圖的R樹空間索引結構，與R樹相比，在未降低系統(tǒng)空間查詢性能同時，大大減少生成空間索引結構的時間和空間索引結構的大小。
　　3.在空間數(shù)據(jù)分析層，通過結合改

7、進的空間數(shù)據(jù)分布式存儲策略，空間索引技術，實現(xiàn)了基于Spark的并行空間數(shù)據(jù)查詢算法，能夠為用戶提供海量高并發(fā)的空間數(shù)據(jù)交互式查詢。包括空間區(qū)域查詢，空間聯(lián)接查詢和空間k最近鄰詢。
　　最后，我們對Spark-GIS， Spark和GeoSpark進行了全面的對比測試。測試數(shù)據(jù)是數(shù)量為億級別的移動電話通話記錄數(shù)據(jù)。實驗結果顯示Spark-GIS空間查詢操作性能全面優(yōu)于目前為止最先進的系統(tǒng)—GeoSpark，尤其在空間區(qū)域查詢和空間