數(shù)據(jù)挖掘中聚類(lèi)若干問(wèn)題研究.pdf

1、數(shù)據(jù)挖掘是為了滿足人們對(duì)數(shù)據(jù)中所蘊(yùn)涵的信息和知識(shí)的充分理解和有效應(yīng)用而發(fā)展起來(lái)的一門(mén)新興技術(shù)。數(shù)據(jù)庫(kù)、人工智能和數(shù)理統(tǒng)計(jì)是知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘的三個(gè)強(qiáng)大的技術(shù)支柱。發(fā)展自統(tǒng)計(jì)學(xué)的聚類(lèi)分析作為數(shù)據(jù)挖掘的一項(xiàng)主要功能和任務(wù)，成為數(shù)據(jù)挖掘中的一個(gè)重要的研究領(lǐng)域，至今已提出了大量的理論和方法，取得了豐碩的研究成果。盡管如此，聚類(lèi)中還存在許多問(wèn)題，尤其隨著數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用，數(shù)據(jù)挖掘所面對(duì)的數(shù)據(jù)對(duì)象日趨復(fù)雜，聚類(lèi)研究也面臨更多新的內(nèi)容和挑戰(zhàn)。這

2、就要求對(duì)現(xiàn)有聚類(lèi)技術(shù)進(jìn)行改進(jìn)，同時(shí)不斷提出新的聚類(lèi)理論和方法以適應(yīng)新的應(yīng)用。 本文對(duì)聚類(lèi)有效性問(wèn)題，迭代優(yōu)化聚類(lèi)的初始化問(wèn)題，分類(lèi)屬性數(shù)據(jù)聚類(lèi)算法及高維數(shù)據(jù)聚類(lèi)方法進(jìn)行了較為深入的研究，主要內(nèi)容如下： 第一章簡(jiǎn)單介紹了數(shù)據(jù)挖掘技術(shù)和數(shù)據(jù)挖掘中的聚類(lèi)分析的特點(diǎn)，詳細(xì)論述了聚類(lèi)有效性問(wèn)題、迭代優(yōu)化聚類(lèi)的初始化、分類(lèi)屬性數(shù)據(jù)聚類(lèi)方法以及高維數(shù)據(jù)聚類(lèi)的研究現(xiàn)狀，最后介紹了本文的主要研究工作成果及內(nèi)容安排。 第二章介紹了數(shù)

3、據(jù)挖掘中的聚類(lèi)分析，包括聚類(lèi)分析的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)類(lèi)型，聚類(lèi)準(zhǔn)則的確定，聚類(lèi)算法的分類(lèi)，并詳細(xì)論述了數(shù)據(jù)挖掘中用到的主要聚類(lèi)算法，最后對(duì)聚類(lèi)結(jié)果的評(píng)價(jià)方法進(jìn)行了簡(jiǎn)要介紹。 第三章主要研究聚類(lèi)有效性函數(shù)。首先介紹了模糊聚類(lèi)的劃分系數(shù)與劃分熵，研究了基于幾何結(jié)構(gòu)的聚類(lèi)有效性函數(shù)，從聚類(lèi)的“緊致度”和“分離度”角度出發(fā)，提出了一種新的基于幾何結(jié)構(gòu)的加性聚類(lèi)有效性函數(shù)；研究了改進(jìn)的HubertГ統(tǒng)計(jì)量，將其與聚類(lèi)分離度相結(jié)合，提出了一種基

4、于HubertГ統(tǒng)計(jì)量和分離度的聚類(lèi)有效性函數(shù)。此外，研究了聚類(lèi)算法的實(shí)驗(yàn)結(jié)果的評(píng)價(jià)，指出了現(xiàn)有聚類(lèi)結(jié)果評(píng)價(jià)方法的不足，闡明了聚類(lèi)精確度是反映聚類(lèi)效率的觀點(diǎn)，用Fowlkes&Mallows劃分相似測(cè)度作為聚類(lèi)精確度，來(lái)評(píng)價(jià)后續(xù)章節(jié)中聚類(lèi)算法的實(shí)驗(yàn)結(jié)果。 第四章研究了現(xiàn)有的迭代優(yōu)化聚類(lèi)的初始化方法：即采樣法，距離優(yōu)化法以及密度估計(jì)法，分析了它們的優(yōu)缺點(diǎn)，提出一種新的基于距離的初始化方法，它不需要設(shè)定門(mén)限，不受數(shù)據(jù)集的順序影響，而

5、且對(duì)孤立點(diǎn)和噪聲有較強(qiáng)的抑制，適用于較大規(guī)模數(shù)據(jù)的聚類(lèi)初始化；分析了對(duì)初值不敏感的k-harmonicmeans算法，提出了模糊k-harmonicmeans算法，并導(dǎo)出了該算法在中心迭代統(tǒng)一框架下的描述。 第五章研究了k-modes、k-prototypes和fuzzyk-modes聚類(lèi)算法，通過(guò)仿真討論了k-prototypes算法的性能；在新的差異度函數(shù)的基礎(chǔ)上提出了一種新的模糊k-modes算法；考慮到數(shù)據(jù)的不同屬性對(duì)聚

6、類(lèi)過(guò)程的不同貢獻(xiàn)，對(duì)輸入數(shù)據(jù)進(jìn)行屬性加權(quán)處理，利用進(jìn)化策略對(duì)權(quán)值進(jìn)行優(yōu)化，提出了基于進(jìn)化策略屬性加權(quán)的模糊k-modes聚類(lèi)算法；研究了近似k-median的求解算法，用數(shù)據(jù)的近似中值(approximatedmedian)來(lái)代替模式(modes)進(jìn)行聚類(lèi)，提出了分類(lèi)屬性數(shù)據(jù)的近似k-median聚類(lèi)算法。 第六章研究了適用于高維數(shù)據(jù)的相似性度量函數(shù)Hsim()，這個(gè)度量函數(shù)可以較好地克服Lk-范數(shù)等傳統(tǒng)的距離函數(shù)在高維空間中的