基于Dirichlet過程的DeepWeb數(shù)據(jù)源聚類研究.pdf

1、隨著互聯(lián)網的普及和信息技術的快速發(fā)展，互聯(lián)網已成為人們獲取信息的重要途徑。DeepWeb數(shù)據(jù)源中蘊含的高質量、結構化的數(shù)據(jù)也越來越受到人們的關注。DeepWeb是指互聯(lián)網上由后臺數(shù)據(jù)庫動態(tài)產生的頁面，這些頁面不能通過靜態(tài)鏈接直接訪問，只能通過表單提交查詢的方式來獲取。作為DeepWeb數(shù)據(jù)源集成中的關鍵一步，DeepWeb數(shù)據(jù)源聚類就是將數(shù)據(jù)源按照領域進行劃分。
　　由于缺乏數(shù)據(jù)源的先驗知識，目前DeepWeb數(shù)據(jù)源聚類任務面臨難

2、以預先確定聚類個數(shù)的問題。在特征提取方面，DeepWeb數(shù)據(jù)源存在特征向量高維稀疏的特點。針對以上問題，本文將Dirichlet過程引入DeepWeb數(shù)據(jù)源聚類研究中，提出了一種基于Dirichlet過程的DeepWeb數(shù)據(jù)源聚類方法。
　　文本的主要研究工作和成果如下：
　?、偬岢隽嘶趯哟蜠irichlet過程的特征提取方案。將查詢接口中原本高維稀疏的短文本，表示為主題特征，該過程在降維的同時能自動確定特征數(shù)，不需要人工

3、事先設定主題特征的數(shù)目，解決了因為先驗知識缺乏而帶來的參數(shù)設定的難題。
　?、卺槍eepWeb數(shù)據(jù)源聚類算法因缺乏先驗知識而難以預先確定聚類數(shù)目的問題，提出基于Dirichlet過程混合模型的聚類算法。該算法無需人工事先指定聚類個數(shù)，由Dirichlet過程根據(jù)數(shù)據(jù)自動計算得到，特別適用于DeepWeb數(shù)據(jù)源數(shù)量大，變化快的特點。
　?、墼贒irichlet過程混合模型的參數(shù)推導過程中，提出了一種加權Gibbs抽樣算法，在