基于Spark的K-means算法的并行化實現(xiàn)與優(yōu)化.pdf

1、移動互聯(lián)網(wǎng)浪潮衍生出海量的數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含著不可估量的商業(yè)價值和指導(dǎo)價值，而如何從這些雜亂無章的海量數(shù)據(jù)中挖掘出有用的信息已經(jīng)成為一個相當(dāng)重要的研究課題。為了快速提升聚類算法處理海量數(shù)據(jù)集的效率，可以利用集群資源來高效地執(zhí)行挖掘任務(wù)，而基于分布式計算平臺Spark的并行化改進(jìn)聚類算法能有效地解決此類難題。
　　本課題研究了K-means算法及其優(yōu)化算法在 Spark平臺上的并行化實現(xiàn)。一方面，基于K-means算法存在初始k值

2、不確定性、初始聚類中心點(diǎn)隨機(jī)選取的不穩(wěn)定性問題，本研究課題提出了基于預(yù)聚類算法Canopy來初始化K-means算法中的k值和初始聚類中心用以提高算法的收斂速度和聚類結(jié)果的穩(wěn)定性；另一方面，為了充分利用Spark的RDD特性優(yōu)勢，可以從內(nèi)存優(yōu)化、數(shù)據(jù)壓縮、數(shù)據(jù)序列化、運(yùn)行內(nèi)存占比、運(yùn)行堆占比、緩存大小等系統(tǒng)配置方面進(jìn)行Spark調(diào)優(yōu)，從而利用Spark相比于Hadoop的平臺優(yōu)勢進(jìn)一步加快改進(jìn)Canopy_K-means（CKM）算法的

3、并行計算效率和分布式計算環(huán)境下的應(yīng)用能力。
　　基于Spark集群環(huán)境下的K-means算法及其改進(jìn)CKM算法的對比研究結(jié)果可得以下結(jié)論：（1）Spark分布式集群在迭代計算方面相對于Hadoop具有不可比擬的效率（收斂速率、聚類準(zhǔn)確度）優(yōu)勢；（2）基于Spark的改進(jìn)CKM并行算法比K-means并行算法的聚類結(jié)果更加準(zhǔn)確可信、收斂速度更快；（3）基于Spark的改進(jìn)CKM并行算法比 K-means并行算法加速比增幅更快、擴(kuò)展比