基于SPARK優(yōu)化的聚類分類算法研究.pdf

1、互聯(lián)網(wǎng)在近些年的飛速發(fā)展，使得每天都產(chǎn)生海量的數(shù)據(jù)。這些海量數(shù)據(jù)中包含著很多的有價值的信息，傳統(tǒng)的方法已經(jīng)很難將這些信息從大規(guī)模數(shù)據(jù)總提取出來。為了解決大規(guī)模數(shù)據(jù)的處理問題，分布式計算技術(shù)應(yīng)運而生。通過計算機集群的強大的數(shù)據(jù)存儲和處理能力來解決傳統(tǒng)處理方式的性能瓶頸問題。與此同時，傳統(tǒng)的數(shù)據(jù)挖掘算法也已不能適應(yīng)分布式的計算環(huán)境，因此要對傳統(tǒng)的數(shù)據(jù)挖掘算法進行并行化優(yōu)化來滿足集群的并行計算要求，這也是近幾年大數(shù)據(jù)領(lǐng)域的研究熱點之一。

2、>　　當(dāng)前主流的分布式計算框架有Storm、Hadoop、Spark，主要分為批處理模式和流處理模式；其中Storm是流處理模式，主要適用于針對數(shù)據(jù)流的實時計算場景。Hadoop與Spark屬于批處理計算模型，主要適用于大規(guī)模數(shù)據(jù)的存儲以及處理。HDFS具有高可靠性、高擴展性以及高容錯性的優(yōu)點，因此很適合作為大規(guī)模數(shù)據(jù)的存儲。MapReduce是一種并行編程模型，能夠極大的簡化編程人員的的編程工作。RDD是一種更簡單的編程模型，尤其對于

3、迭代式算法的執(zhí)行效率要遠高于Hadoop。這些分布式計算框架的出現(xiàn)為大規(guī)模數(shù)據(jù)的處理提供了極大的便利。
　　本文主要是研究DBSCAN聚類算法以及L1-SVM分類算法的并行化，然后結(jié)合Spark計算框架的特點進行并行化優(yōu)化，主要工作如下：
　　1.對傳統(tǒng)聚類算法DBSCAN進行分析，研究其并行化改進。面對數(shù)據(jù)的分布式不均勻的情況，為了保障數(shù)據(jù)分割后的負載均衡問題，并行化DBSCAN算法提出一種基于樣本數(shù)目的分割法來進行數(shù)據(jù)的

4、分割。并行DBSCAN算法先對本節(jié)點的數(shù)據(jù)進行本地聚類，最后將各個節(jié)點的聚類結(jié)果進行綜合聚類形成最終的結(jié)果。綜合聚類減少了樣本數(shù)據(jù)的遍歷次數(shù)，進一步提高聚類效率。在這個過程利用RDD來保證數(shù)據(jù)迭代的高效率。
　　2.對L1-SVM分類算法進行并行化改進，首先要解決的是非線性SVM的每一次迭代要基于前一次運行結(jié)果的問題。本文通過先聚類后劃分的數(shù)據(jù)的方式提高了數(shù)據(jù)塊內(nèi)樣本數(shù)據(jù)的相似性，然后采取用多個判別函數(shù)的判斷結(jié)果來近似全局結(jié)果，避