基于詞頻序向量模型的快速中文文本聚類(lèi).pdf

1、隨著信息產(chǎn)業(yè)特別是互聯(lián)網(wǎng)的高速發(fā)展，人們可以很容易得從互聯(lián)網(wǎng)、數(shù)字圖書(shū)館以及公司內(nèi)部網(wǎng)絡(luò)獲得海量的數(shù)據(jù)。這些數(shù)據(jù)按照其組織形式可分為：結(jié)構(gòu)化的數(shù)據(jù)(如數(shù)據(jù)庫(kù)記錄等)、半結(jié)構(gòu)化的數(shù)據(jù)(xml文檔，有相對(duì)固定格式的各類(lèi)格式化文檔)和無(wú)結(jié)構(gòu)數(shù)據(jù)(如中文文本等)。 面對(duì)浩如煙海的數(shù)據(jù)，需要使用數(shù)據(jù)挖掘技術(shù)從數(shù)據(jù)中抽取感興趣的信息。對(duì)于結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)挖掘工作比較直觀，但是對(duì)于一些非結(jié)構(gòu)化數(shù)據(jù)(包括半結(jié)構(gòu)化數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù))，尤其是

2、日常生活一個(gè)重要的信息來(lái)源—中文文本，需要做特殊處理。而中文文本聚類(lèi)正是中文數(shù)據(jù)挖掘的一個(gè)重要基礎(chǔ)。 本論文先對(duì)當(dāng)前文本聚類(lèi)的發(fā)展現(xiàn)狀和相關(guān)方法做簡(jiǎn)要的回顧。 模擬人在判斷一篇文檔時(shí)所使用的方法，本論文提出一種新的文檔向量模型一詞頻序向量模型(FSTVM)。這個(gè)模型將一篇中文文檔表示成為出現(xiàn)頻率最高的一些詞所組成的向量，在向量中這些詞按頻率降序排列，詞在文檔中的位置將是聚類(lèi)所利用的主要信息。 圍繞FSTVM模型，

3、論文按照一般文檔聚類(lèi)過(guò)程依次給出了特征提取(詞匯過(guò)濾)、文檔相似度和初始聚類(lèi)中心選擇等的處理方法。 特征提取(詞匯過(guò)濾)：除了對(duì)一些表征能力較弱詞性(如介詞，連詞等)的詞做整體去除外，論文還提出一種特殊而通用的方法用以過(guò)濾文檔中的常用詞。 文檔相似度：表示為兩文檔向量共享詞的個(gè)數(shù)，但是根據(jù)每對(duì)共享詞在兩向量中出現(xiàn)的位置施以懲罰。 初始聚類(lèi)中心選擇：針對(duì)中文文檔的特點(diǎn)需要，為每類(lèi)文檔隨機(jī)選擇多個(gè)文檔，并計(jì)算他們平均