面向文本分類(lèi)的文本特征學(xué)習(xí)技術(shù)研究.pdf

1、面對(duì)互聯(lián)網(wǎng)上文檔資源日益豐富的情況，文本分類(lèi)旨在自動(dòng)對(duì)文檔歸類(lèi)，使人們便于收集和管理各種文檔，因此文本分類(lèi)具有廣泛的應(yīng)用背景和較高的實(shí)用價(jià)值。但是，現(xiàn)存文本分類(lèi)系統(tǒng)仍然存在很多問(wèn)題。 本文研究工作緊緊的圍繞文本特征學(xué)習(xí)，從不同方面展開(kāi)文本特征的自動(dòng)學(xué)習(xí)。作者在前人工作的基礎(chǔ)上提出一些新的處理技術(shù)和模型，取得一些研究成果。主要?jiǎng)?chuàng)新點(diǎn)包括： ●提出一種自動(dòng)學(xué)習(xí)領(lǐng)域關(guān)聯(lián)詞的算法，并把學(xué)習(xí)到的領(lǐng)域關(guān)聯(lián)詞用作文本特征，構(gòu)造一個(gè)無(wú)指

2、導(dǎo)的文本分類(lèi)系統(tǒng)。該算法應(yīng)用Bootsrapping的學(xué)習(xí)框架，從大規(guī)模的無(wú)標(biāo)注文本語(yǔ)料中，計(jì)算候選詞和領(lǐng)域種子詞集的關(guān)聯(lián)度，從中選取關(guān)聯(lián)度大的詞做為新的領(lǐng)域關(guān)聯(lián)詞。該算法輸入是大規(guī)模的無(wú)標(biāo)注文本語(yǔ)料和少量種子詞。接著，把領(lǐng)域關(guān)聯(lián)詞用作文本特征，構(gòu)造一個(gè)無(wú)指導(dǎo)的文本分類(lèi)系統(tǒng)。該文本分類(lèi)系統(tǒng)不用任何的人工標(biāo)注分類(lèi)語(yǔ)料，只需要每個(gè)類(lèi)別手工構(gòu)造少量的種子詞(3-10個(gè))。通過(guò)這個(gè)算法，我們可以在新的分類(lèi)體系中很快構(gòu)建出新的文本分類(lèi)系統(tǒng)。

3、 ●提出一種弱指導(dǎo)的文本分類(lèi)系統(tǒng)的構(gòu)建方法，該方法使用大規(guī)模無(wú)標(biāo)注語(yǔ)料來(lái)改善分類(lèi)器的訓(xùn)練效果。訓(xùn)練過(guò)程：首先，使用小標(biāo)注語(yǔ)料來(lái)訓(xùn)練初始最大熵分類(lèi)器；用訓(xùn)練好的最大熵分類(lèi)器對(duì)無(wú)標(biāo)注文本語(yǔ)料進(jìn)行類(lèi)別標(biāo)注，從中選擇置信度高的文檔作為下一輪訓(xùn)練時(shí)的訓(xùn)練語(yǔ)料；再次訓(xùn)練分類(lèi)器；如此循環(huán)訓(xùn)練、標(biāo)注，直到學(xué)習(xí)結(jié)束。也就是利用大規(guī)模的無(wú)標(biāo)注文本語(yǔ)料，來(lái)改善基于小標(biāo)注訓(xùn)練集的最大熵模型分類(lèi)器訓(xùn)練效果。 ●提出一種基于全局信息的詞聚類(lèi)模型-glob

4、alCM。在聚類(lèi)過(guò)程中，該模型充分利用當(dāng)前所有簇的信息來(lái)參與相似度的計(jì)算，克服了舊有模型只考慮相關(guān)的兩個(gè)簇信息造成聚類(lèi)效果差的問(wèn)題。實(shí)驗(yàn)表明，globalCM的詞聚類(lèi)效果優(yōu)于傳統(tǒng)的聚類(lèi)方法。然后，把學(xué)習(xí)的詞簇用作文本特征，構(gòu)建一個(gè)基于詞簇文本特征的分類(lèi)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，基于詞簇文本特征表示具有明顯的降維效果，和基于詞特征的特征選取方法相比，降維幅度大約為100位。 ●提出一種基于Ontology的領(lǐng)域知識(shí)庫(kù)構(gòu)建方法。首先，給出

5、兩個(gè)基本概念定義：領(lǐng)域關(guān)聯(lián)詞和領(lǐng)域特征屬性。接著，采用框架表示法來(lái)表示領(lǐng)域知識(shí)。最后，詳細(xì)描述了東北大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室領(lǐng)域知識(shí)庫(kù)的構(gòu)建方法，并給出一個(gè)實(shí)際構(gòu)建“軍事”領(lǐng)域知識(shí)庫(kù)的例子。 ●提出把領(lǐng)域知識(shí)庫(kù)用于文本特征表示的兩種方法。第一種表示：用領(lǐng)域知識(shí)庫(kù)中的領(lǐng)域關(guān)聯(lián)詞作為文本特征；第二種表示：用領(lǐng)域知識(shí)庫(kù)中的領(lǐng)域特征屬性作為文本特征。實(shí)驗(yàn)結(jié)果表明，用領(lǐng)域關(guān)聯(lián)詞作為文本特征，有助于增強(qiáng)文本特征的表達(dá)能力。 ●提出一個(gè)

6、自劃分學(xué)習(xí)模型，以解決領(lǐng)域知識(shí)庫(kù)覆蓋度不足的問(wèn)題。該模型結(jié)合Bootsrapping學(xué)習(xí)框架和globalCM模型，按照領(lǐng)域知識(shí)庫(kù)的結(jié)構(gòu)，自動(dòng)把候選詞劃分到相關(guān)領(lǐng)域中。文中把學(xué)習(xí)結(jié)果用于文本特征表示。實(shí)驗(yàn)結(jié)果表明，這種學(xué)習(xí)模型可以進(jìn)一步提高領(lǐng)域知識(shí)庫(kù)在文本分類(lèi)中的作用。 ●提出一個(gè)領(lǐng)域知識(shí)庫(kù)的半自動(dòng)構(gòu)建模型。采用上述的自劃分學(xué)習(xí)模型，學(xué)習(xí)出新的領(lǐng)域關(guān)聯(lián)詞，構(gòu)成一個(gè)候選集，提供給領(lǐng)域知識(shí)專(zhuān)家作為選擇對(duì)象。然后，專(zhuān)家從中選取合適的領(lǐng)