基于語(yǔ)義概念的文本特征描述.pdf

1、文本的特征描述是自然語(yǔ)言處理、文本分類(lèi)、聚類(lèi)、中文信息檢索、個(gè)性化服務(wù)等研究中的一項(xiàng)基礎(chǔ)性工作，它研究的是用什么樣的方法和模型來(lái)表示文章的主題思想。這個(gè)描述一方面要能很好的概括文章的主要內(nèi)容，另一方面要方便計(jì)算機(jī)進(jìn)行計(jì)算。目前，基于矢量的方法即VSM得到了廣泛的應(yīng)用，它用若干個(gè)特征項(xiàng)和其權(quán)重來(lái)表示一篇文檔。在這個(gè)模型中，有兩個(gè)主要影響描述準(zhǔn)確度的因素：一個(gè)是特征項(xiàng)的選擇，一個(gè)是特征項(xiàng)的權(quán)重計(jì)算方式。廣大學(xué)者的研究也主要集中在這兩個(gè)方面，

2、都希望從這兩方面能夠概括出文本的主題思想，反映其內(nèi)在的隱含信息。利用統(tǒng)計(jì)和信息論的相關(guān)知識(shí)選擇特征項(xiàng)和計(jì)算權(quán)重在一定程度上解決了VSM模型描述文本的準(zhǔn)確度問(wèn)題，但一般能涉及和揭示特征項(xiàng)語(yǔ)義信息的比較少，本文主要在以下兩方面來(lái)解決VSM如何蘊(yùn)含特征項(xiàng)的語(yǔ)義信息。 （一）考慮詞語(yǔ)出現(xiàn)的語(yǔ)言環(huán)境對(duì)詞語(yǔ)的實(shí)際語(yǔ)義的重要影響，在現(xiàn)在廣泛使用的TF-IDF權(quán)重計(jì)算方式上進(jìn)行了改進(jìn)，采用了基于詞同現(xiàn)頻率的權(quán)重計(jì)算方式來(lái)表示文本的權(quán)重，該計(jì)算方

3、式既含有TF-IDF公式的相關(guān)統(tǒng)計(jì)信息，又表現(xiàn)了具體的語(yǔ)言環(huán)境對(duì)詞語(yǔ)語(yǔ)義的影響。 （二）在文本的相似度比較上，完全拋棄了純數(shù)學(xué)的計(jì)算向量相似度的公式（如：計(jì)算向量間的歐氏距離、計(jì)算向量的夾角余弦、貝葉斯算法、K最近鄰算法等）。改為首先求向量中特征詞間的語(yǔ)義相似度，再計(jì)算兩向量的最大權(quán)匹配，最后統(tǒng)計(jì)每個(gè)匹配對(duì)的相似度和，當(dāng)然在統(tǒng)計(jì)和的過(guò)程中要考慮每個(gè)特征詞的權(quán)重。這樣計(jì)算的好處在于：考慮了向量特征詞的語(yǔ)義信息，并且在獲得文本的向量