處理海量數(shù)據(jù)的聚類算法關(guān)鍵技術(shù)研究.pdf

1、該文主要內(nèi)容如下：1）針對大多數(shù)聚類算法只根據(jù)一個固定的原則來識別簇,因而往往只能處理某種特定的數(shù)據(jù)集合,而對其它數(shù)據(jù)集合的處理則效果不佳的缺點,提出了綜合考慮距離和密度進行相似性判定的Hybrid聚類算法.由于考慮了多種尺度,算法能夠準(zhǔn)確地識別各種形狀的簇.另外,算法利用定義的小方格和密度參數(shù)可以自動消除噪聲,識別離群點.此外,通過取樣和小方格索引技術(shù),Hybrid比之傳統(tǒng)的聚合聚類算法,在保持聚類質(zhì)量的同時大大節(jié)省了聚類的時間,具有

2、良好的伸縮性.2）現(xiàn)有的聚類研究側(cè)重于提高聚類分析的效果和性能,但是這些聚類算法多數(shù)都需要指定一些參數(shù),作為聚類分析過程結(jié)束的依據(jù).3）聚類分析要處理的對象通常是數(shù)據(jù)庫中的數(shù)據(jù),因此算法必須能夠高效地處理存在于數(shù)據(jù)庫系統(tǒng)或者數(shù)據(jù)倉庫中的數(shù)據(jù);為了使聚類算法具有可伸縮性和實用性,文章進一步提出了SACT算法,SACT算法在MACT的基礎(chǔ)上,通過分區(qū)-對每個分區(qū)構(gòu)造聚類樹-合并聚類樹的方法突破內(nèi)存的限制,在保持聚類質(zhì)量的同時,提高了算法的可