中文文本層次分類研究及其在唐詩(shī)分類中的應(yīng)用.pdf

1、作為大規(guī)模信息處理重要的應(yīng)用技術(shù)之一，文本分類有其不可忽視的重要性?，F(xiàn)有大部分的文本分類方法，無(wú)論是二類分類還是多類分類，所分類別都處在同一個(gè)層次，即處于同一個(gè)平面類空間上。在文本類別數(shù)量龐大的情況下，平面分類的性能會(huì)受到很大制約?？扇藗儼l(fā)現(xiàn)有些類別在一起比和別的類別更有共性，可以組成一個(gè)類別的集合，從而提出了層次型分類的概念。層次型分類是把分類系統(tǒng)構(gòu)造為層次結(jié)構(gòu)，即把各類按照一定的層次關(guān)系組織成樹狀結(jié)構(gòu)。因此，層次型分類從結(jié)構(gòu)和性能上

2、，對(duì)分類方法來(lái)說(shuō)是一個(gè)大的改進(jìn)，是一種有效的分類途徑。 本文就中文文本的層次型分類方法進(jìn)行了研究。主要研究結(jié)果如下： 1.提出了基于向量空間模型的二重特征選擇方法(Feature Dual-Selection, FDS)和層次分類算法(Hierarchical Text Classification, HTC)。針對(duì)層次分類的結(jié)構(gòu)特點(diǎn)，本文提出了新的基于向量空間模型的二重特征選擇方法FDS以及層次分類算法HTC。由于在某

3、一層中對(duì)分類貢獻(xiàn)大的某些特征在另一層中并不一定重要，為了突顯各個(gè)特征在不同層次中的重要程度，因此二重特征選擇方法對(duì)每一層均進(jìn)行一次特征選擇，并設(shè)定權(quán)重系數(shù)δ，逐層改變特征數(shù)量和權(quán)重計(jì)算方法。HTC算法摒棄了一般的層次分類算法即只使用一種分類方法進(jìn)行分類，把分別對(duì)粗分和細(xì)分更有效的類中心向量法與支持向量機(jī)(Support Vector Machine, SVM)方法相結(jié)合，通過(guò)在分類時(shí)設(shè)定的差值閾值α來(lái)調(diào)節(jié)對(duì)分類方法的選擇，達(dá)到了分類方法

4、的優(yōu)化。 2.引入最大熵模型進(jìn)行文本的層次型分類。最大熵理論是一種在廣泛應(yīng)用于自然語(yǔ)言處理中的概率估計(jì)方法，它使未知事件的概率分布總是盡可能均勻，即傾向于得到最大熵。對(duì)于文本分類問(wèn)題，通過(guò)建立最大熵模型，把事件集當(dāng)作類別集，將上下文環(huán)境當(dāng)作文本集，那么就可以使用最大熵模型求任意一篇文檔屬于任意類別的概率。但是，將最大熵模型應(yīng)用在文本分類中的研究卻非常少，而使用最大熵模型進(jìn)行中文文本層次分類的研究尚未見到。把該方法和層次分類相結(jié)合