基于機(jī)器學(xué)習(xí)的文本分類(lèi)算法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和Internet的日益普及，在現(xiàn)實(shí)生活中，每一個(gè)領(lǐng)域都不斷產(chǎn)生海量數(shù)據(jù)和信息，特別是海量的文本數(shù)據(jù)。如何自動(dòng)將這些文本數(shù)據(jù)進(jìn)行分類(lèi)整理，挖掘出有效信息，給人們有效利用，成為一個(gè)日趨重要的問(wèn)題。因此，文本數(shù)據(jù)挖掘作為一門(mén)新興學(xué)科，逐漸成為了一門(mén)引人注目、發(fā)展迅速的領(lǐng)域。 文本分類(lèi)是文本數(shù)據(jù)挖掘中的一個(gè)基本技術(shù)，其作用是根據(jù)文本的各項(xiàng)特征判斷其所屬的預(yù)先設(shè)計(jì)的類(lèi)別。它在自然語(yǔ)言處理與理

2、解、信息組織與管理、內(nèi)容信息過(guò)濾等領(lǐng)域具有非常廣泛的應(yīng)用。早期的文本分類(lèi)采用的是基于知識(shí)工程和專(zhuān)家系統(tǒng)的方法，可是這樣的方法非常復(fù)雜和缺乏靈活性。隨著機(jī)器學(xué)習(xí)的興起和發(fā)展，很多機(jī)器學(xué)習(xí)的分類(lèi)器模型被引入的文本分類(lèi)領(lǐng)域中，從不同的方面取得了不錯(cuò)的效果。 目前，各種文本分類(lèi)算法都在一定的領(lǐng)域里有好的效果，但都不能成為通用方法，因此，如何對(duì)現(xiàn)有的文本分類(lèi)算法進(jìn)行評(píng)估也是一個(gè)非常重要的問(wèn)題。分類(lèi)的精度是已經(jīng)被廣泛用于評(píng)估文本分類(lèi)算法性能

3、的主要度量標(biāo)準(zhǔn)之一，但是，當(dāng)要處理的類(lèi)分布不均勻或者分類(lèi)出錯(cuò)的代價(jià)不相同時(shí)，精度的局限性就顯示出來(lái)了。在這種情況下，AUC基于機(jī)器學(xué)習(xí)的文本分類(lèi)算法研究被提出作為一個(gè)新的評(píng)估文本分類(lèi)算法性能的度量標(biāo)準(zhǔn)。已有研究表明，AUC比精度的健壯性要好，而且有它特有的排序評(píng)測(cè)功能。這樣，原有的分類(lèi)算法在新的評(píng)估標(biāo)準(zhǔn)下是否和原來(lái)一樣有效，是一個(gè)值得關(guān)注的問(wèn)題。由于新的標(biāo)準(zhǔn)的提出，目前還沒(méi)有完整的實(shí)驗(yàn)對(duì)原有文本分類(lèi)算法進(jìn)行評(píng)測(cè)。本文將采用統(tǒng)一的文本基準(zhǔn)