基于子空間聚類(lèi)的文本相關(guān)性研究.pdf

1、文本相關(guān)性度量是中文信息處理中一個(gè)非?；A(chǔ)且關(guān)鍵的問(wèn)題，在文本相關(guān)性度量方法中采取的主要計(jì)算方式是文本相似度計(jì)算。目前，向量空間模型（VSM）作為絕大多數(shù)文本相似度算法的基礎(chǔ)，已經(jīng)有著很廣泛的應(yīng)用研究，但這種方法在解決高維度、稀疏問(wèn)題的文本聚類(lèi)方面有著很大欠缺，嚴(yán)重影響了文本相似度算法的計(jì)算效率和準(zhǔn)確度。
　　子空間聚類(lèi)是在傳統(tǒng)聚類(lèi)方法上的一種拓展，其思想是在高維度的數(shù)據(jù)中進(jìn)行局部維度搜索，將聚類(lèi)技術(shù)應(yīng)用在高維度空間的一個(gè)小單元空

2、間中，加快相似對(duì)象的聚類(lèi)，在解決高維度和稀疏問(wèn)題方面有著突出的貢獻(xiàn)。對(duì)此，論文提出基于子空間聚類(lèi)的思想來(lái)進(jìn)行文本相關(guān)性的研究。主要研究工作分為以下兩個(gè)方面：
　　1．提出基于子空間特征劃分的文本相似度算法
　　結(jié)合帶權(quán)無(wú)向圖和子空間文本特征自動(dòng)劃分思想，提出基于子空間特征劃分優(yōu)化的文本相似度計(jì)算算法。首先對(duì)子空間聚類(lèi)的初始中心點(diǎn)進(jìn)行優(yōu)化處理，獲取初始位置最佳的中心點(diǎn)集合，解決初始位置選擇不當(dāng)影響聚類(lèi)效果的問(wèn)題；然后在子空間聚

3、類(lèi)時(shí)對(duì)目標(biāo)函數(shù)最小化過(guò)程進(jìn)行優(yōu)化，通過(guò)迭代更新的方法達(dá)到子空間特征自動(dòng)劃分的目的，進(jìn)而提高子空間聚類(lèi)效果；最后結(jié)合文本相似度計(jì)算方法對(duì)論文算法和其他算法進(jìn)行比較，本論文算法就準(zhǔn)確度、運(yùn)行速度以及F-度量值標(biāo)準(zhǔn)而言?xún)?yōu)于其他子空間聚類(lèi)算法。
　　2．提出基于子空間關(guān)鍵詞加權(quán)的文本相似度算法
　　結(jié)合投影技術(shù)和文本關(guān)鍵詞加權(quán)計(jì)算相似度方法，提出基于子空間關(guān)鍵詞加權(quán)優(yōu)化的文本相似度算法。首先該算法以文本子空間表示理論為基礎(chǔ)，將文本數(shù)