不同類型數(shù)據(jù)間的聚類算法.pdf

1、隨著信息時代的發(fā)展,人們所能獲取的數(shù)據(jù)正成指數(shù)形式的爆炸式增長。這些數(shù)據(jù)往往都具有不同的數(shù)據(jù)類型,如何在這些不同類型的數(shù)據(jù)之間建立聯(lián)系并聚類,便是本文研究的課題。我們提出通過兩個步驟來完成不同類型數(shù)據(jù)間的聚類:第一個步驟是對數(shù)據(jù)的預(yù)處理。我們重點介紹了對網(wǎng)頁數(shù)據(jù)的預(yù)處理,并提出了基于塊模板的網(wǎng)頁去雜算法,和基于BloomFilter的網(wǎng)頁去重算法。在網(wǎng)頁去雜算法中,我們以較小的顆粒度來提取模板,使得網(wǎng)頁去雜算法的精確度更高;同時我們利用

2、BloomFilter結(jié)構(gòu)大大降低了網(wǎng)頁去重算法的時間復(fù)雜度和空間復(fù)雜度。第二個步驟是對數(shù)據(jù)的聚類。我們提出,對不同類型的數(shù)據(jù)采用不同的聚類算法(使用K-means算法對網(wǎng)頁數(shù)據(jù)聚類,使用關(guān)聯(lián)性分析對表格數(shù)據(jù)聚類),以便充分利用不同類型數(shù)據(jù)的特點,最后整合這些聚類的結(jié)果,從中找出不同類型數(shù)據(jù)之間的聯(lián)系,進而完成整個聚類過程。在我們的實驗中,我們嘗試利用以上算法為信用卡用戶提供廣告信息,實驗結(jié)果表明我們的算法可以很好的完成網(wǎng)頁數(shù)據(jù)的預(yù)處理