一種基于eEPs的中文文本自動(dòng)分類(lèi)算法.pdf

1、為了能夠有效地組織和分析海量的Web信息資源，幫助用戶(hù)迅速地獲取所需要的知識(shí)和信息，人們希望能夠按照內(nèi)容實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)的自動(dòng)分類(lèi)。Web的迅猛發(fā)展為文本自動(dòng)分類(lèi)技術(shù)提供了一個(gè)前所未有的實(shí)驗(yàn)環(huán)境和應(yīng)用平臺(tái)，同時(shí)也帶來(lái)了新的挑戰(zhàn)。而作為Web網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)基礎(chǔ)的文本自動(dòng)分類(lèi)技術(shù)也迅速地發(fā)展起來(lái)。 基于文檔頻率的特征提取方法計(jì)算復(fù)雜度低，而且提取出的特征的分類(lèi)效果也和卡方檢驗(yàn)以及信息增益等方法相當(dāng)，比較適合于大規(guī)模的文本分類(lèi)任務(wù)。但是通

2、過(guò)分析我們發(fā)現(xiàn)，由于僅僅使用文檔頻率來(lái)衡量特征的區(qū)分能力，文檔頻率方法存在兩個(gè)問(wèn)題。 顯露模式是那些從一個(gè)數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集支持度發(fā)生顯著變化的項(xiàng)集，它們對(duì)分類(lèi)是有用的，這是因?yàn)檫@些項(xiàng)集能夠捕獲數(shù)據(jù)庫(kù)中兩個(gè)數(shù)據(jù)集之間的多屬性差異，具有很好的分類(lèi)性能。而eEPs(EssentialEmergingPatterns)是一種最具表達(dá)能力的、特殊的EPs，稱(chēng)為基本顯露模式。它不僅具有EPs的優(yōu)點(diǎn)，可以用來(lái)構(gòu)造準(zhǔn)確的分類(lèi)器，而且數(shù)量比E

3、Ps少很多，可以快速方便地挖掘和使用。 基于EPs的分類(lèi)方法并不把樣本看作n維空間的點(diǎn)，而是把它們看作項(xiàng)的集合。通過(guò)發(fā)現(xiàn)那些從一個(gè)數(shù)據(jù)集到另一個(gè)數(shù)據(jù)集支持度發(fā)生顯著變化的模式(項(xiàng)集)，建立分類(lèi)器，基于EP的分類(lèi)方法足以與C4．5、樸素Bayes等分類(lèi)法相媲美?；贓Ps的分類(lèi)方法已經(jīng)成功地應(yīng)用于DNA分析等領(lǐng)域，但用于文本自動(dòng)分類(lèi)還未見(jiàn)到報(bào)道。 本文在分析了文檔頻率特征提取方法存在的問(wèn)題的基礎(chǔ)上，給出了特征的區(qū)分能力的概

4、念，提出了一種基于區(qū)分能力的特征提取方法，并將基于eEPs的分類(lèi)方法應(yīng)用到中文文本分類(lèi)領(lǐng)域，提出并實(shí)現(xiàn)了一個(gè)基于eEPs的中文文本分類(lèi)算法TCEP。 本文研究工作的主要?jiǎng)?chuàng)新點(diǎn)有：(1)提出了一種基于區(qū)分能力的特征提取方法。該方法綜合考慮了文檔頻率和類(lèi)信息，所提取出的特征項(xiàng)具有很好的區(qū)分能力。 (2)使用eEPs來(lái)構(gòu)建分類(lèi)器?；趀EPs的分類(lèi)方法能有效地緩解維災(zāi)難問(wèn)題，比較適合于大規(guī)模的文本分類(lèi)任務(wù)。提出并實(shí)現(xiàn)了一個(gè)基于