基于Spark的若干數(shù)據(jù)挖掘技術(shù)研究.pdf

1、隨著大數(shù)據(jù)概念的火熱興起，分布式框架和并行化計算方法得到迅猛的發(fā)展。大數(shù)據(jù)帶來的是數(shù)據(jù)量的增長和計算復(fù)雜度的增加，傳統(tǒng)的數(shù)據(jù)挖掘處理方式已經(jīng)捉襟見肘。如何快速、準(zhǔn)確的實現(xiàn)大數(shù)據(jù)挖掘任務(wù)，成為當(dāng)下研究的熱點。相對于傳統(tǒng)流程不能解決海量數(shù)據(jù)的挖掘和近年來流行的Hadoop平臺處理數(shù)據(jù)挖掘任務(wù)效率低下的狀況，大數(shù)據(jù)平臺Spark基于內(nèi)存計算、靈活性高、通用性強，對數(shù)據(jù)挖掘算法的實現(xiàn)有著無與倫比的優(yōu)勢。本文圍繞大數(shù)據(jù)平臺Spark和數(shù)據(jù)挖掘兩個

2、概念，對Spark上的數(shù)據(jù)挖掘算法進行了研究、優(yōu)化、增加，同時在實際應(yīng)用中做出了準(zhǔn)確性、吞吐量、處理速度的測試，證明了工作的有效性。論文的主要工作如下：
　　設(shè)計了關(guān)聯(lián)規(guī)則算法在Spark上的實現(xiàn)結(jié)構(gòu)，同時將Apriori算法在Spark平臺上實現(xiàn)。針對Spark與Apriori算法的特性對Apriori算法進行多次優(yōu)化，使算法在數(shù)據(jù)量巨大的情況下并發(fā)計算執(zhí)行，在較短時間內(nèi)得到正確結(jié)果。并將算法在實際中應(yīng)用，吞吐量和處理時間性能測

3、試，證明了算法實現(xiàn)的有效性。
　　研究了分類算法在Spark上的實現(xiàn)結(jié)構(gòu)，將樸素貝葉斯分類算法做相應(yīng)改進，設(shè)計其在Spark Streaming上的實現(xiàn)過程，實現(xiàn)了流數(shù)據(jù)的實時分類問題。最后在垃圾短信分類中測試了算法的有效性。
　　研究了Spark算法庫Mllib中存在的聚類算法k-means，并根據(jù)k-means實現(xiàn)原理對其只能識別大小相近、凸形簇的缺陷做針對性改進，使k-means算法能夠識別大小相差較大簇的問題，同時，