基于密度的統(tǒng)計(jì)合并聚類算法.pdf

1、近年來(lái)，隨著國(guó)家經(jīng)濟(jì)的快速發(fā)展和網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，數(shù)據(jù)源開始不斷地膨脹，人們獲取的數(shù)據(jù)集規(guī)模逐漸增大，數(shù)據(jù)結(jié)構(gòu)也變得日漸復(fù)雜，如何從大規(guī)模復(fù)雜結(jié)構(gòu)的數(shù)據(jù)中獲取有效信息成為當(dāng)下的研究熱點(diǎn)。
　　聚類分析作為數(shù)據(jù)挖掘領(lǐng)域中一項(xiàng)重要的數(shù)據(jù)分析技術(shù)，在模式識(shí)別、信息處理、機(jī)器學(xué)習(xí)等領(lǐng)域都有著廣泛的應(yīng)用前景。由于初始條件和聚類準(zhǔn)則的不唯一性，使得各種各樣的聚類算法應(yīng)運(yùn)而生。但面對(duì)越來(lái)越多具有類間相似、類內(nèi)相異、噪聲、重疊等現(xiàn)象的大型數(shù)據(jù)集

2、，現(xiàn)有聚類算法的局限性日益凸顯。
　　針對(duì)傳統(tǒng)聚類算法處理噪聲和重疊現(xiàn)象能力差的問(wèn)題，本文從統(tǒng)計(jì)學(xué)的角度出發(fā)，提出了一種基于密度的統(tǒng)計(jì)合并聚類算法(DSM)。該算法創(chuàng)新性地將數(shù)據(jù)點(diǎn)的每一個(gè)特征看作一組獨(dú)立隨機(jī)變量，并根據(jù)獨(dú)立有限差分不等式得出統(tǒng)計(jì)合并判定準(zhǔn)則，同時(shí)，結(jié)合數(shù)據(jù)點(diǎn)的密度信息，把密度從大到小的排序作為凝聚過(guò)程中的合并順序，實(shí)現(xiàn)了各類數(shù)據(jù)點(diǎn)的統(tǒng)計(jì)合并。人工數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明：DSM算法不僅可以處理凸?fàn)顢?shù)據(jù)集，

3、對(duì)于非凸?fàn)?、重疊、加入噪聲的數(shù)據(jù)集也有良好的聚類效果，充分說(shuō)明了該算法良好的適用性和有效性。
　　針對(duì)處理大數(shù)據(jù)時(shí)傳統(tǒng)聚類算法失效或大數(shù)據(jù)聚類算法效果不理想的問(wèn)題，本文從數(shù)據(jù)抽樣的角度出發(fā)，提出了一種大數(shù)據(jù)的密度統(tǒng)計(jì)合并算法(DSML)。該算法是DSM算法在應(yīng)用范圍上的推廣。首先利用統(tǒng)計(jì)合并判定準(zhǔn)則對(duì)Leaders算法做出改進(jìn)，獲得新的抽樣算法—Statistical Leaders算法；然后將Statistical Leader