分布式聚類算法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的進(jìn)步,數(shù)字圖書館的社會(huì)價(jià)值日益凸顯,數(shù)字圖書館的建設(shè)受到了眾多國(guó)家機(jī)構(gòu)的高度重視。如何在現(xiàn)有資源的基礎(chǔ)之上挖掘數(shù)字圖書中的信息,改進(jìn)基于內(nèi)容的數(shù)字圖書檢索是數(shù)字圖書館研究的一個(gè)重要方面。
　　 本文主要研究了分布式聚類技術(shù)及在數(shù)字圖書館中的應(yīng)用。
　　 數(shù)據(jù)規(guī)模同益增長(zhǎng)的今天,大規(guī)模數(shù)據(jù)處理非常有挑戰(zhàn)性。許多并行算法已被提出,如基于MapReduce的分布式K-means聚類算法、分布式譜聚類算法等。近鄰傳

2、播AP聚類能克服K-means聚類算法的局限性,但是對(duì)海量數(shù)據(jù)的處理性能不高。為了有效實(shí)現(xiàn)海量數(shù)據(jù)聚類,利用相似度稀疏化以及層次采樣的方法,我們提出了兩個(gè)基于AP聚類改進(jìn)的并行算法。在層次采樣的方法中先將數(shù)據(jù)點(diǎn)隨機(jī)劃分為規(guī)模相近的子集,并行地用AP聚類采樣各子集,然后融合各子集的采樣數(shù)據(jù)再次進(jìn)行AP聚類,最終用產(chǎn)生的聚類代表為所有數(shù)據(jù)點(diǎn)指派聚類中心。在人工合成數(shù)據(jù)、人臉圖像數(shù)據(jù)、IRIS數(shù)據(jù)等數(shù)據(jù)集上的實(shí)驗(yàn)表明,該算法對(duì)數(shù)據(jù)規(guī)模有很好的

3、適應(yīng)性,在保持AP聚類效果的同時(shí)可有效縮減聚類時(shí)間。
　　 在研究了Hadoop中基于MapReduce的布式計(jì)算技術(shù)后,本文利用層次采樣的方法設(shè)計(jì)了基于MapReduce的分布式AP聚類算法--DisAP,并驗(yàn)證了DisAP對(duì)數(shù)據(jù)規(guī)模的適應(yīng)性。DisAP已應(yīng)用到數(shù)字圖書館大規(guī)模數(shù)據(jù)挖掘與分析之中,我們?cè)O(shè)計(jì)了針對(duì)中草藥數(shù)字圖書的多媒體信息檢索框架。該框架首先利用圖像處理、特征抽取、關(guān)鍵詞提取等技術(shù)分析數(shù)字圖書的內(nèi)容,然后利用爬蟲