面向文本情感分類的非平衡數(shù)據(jù)采樣方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是網(wǎng)絡(luò)購物的盛行，網(wǎng)絡(luò)上出現(xiàn)了大量的產(chǎn)品評論文本。通過這些評論文本可以獲得用戶對產(chǎn)品的情感傾向，即對產(chǎn)品的一種贊揚或貶斥的態(tài)度。商家可從褒義評論中挖掘用戶的關(guān)注點和產(chǎn)品的賣點，同時，也可以從貶義評論中發(fā)現(xiàn)自身的缺點與競爭對手的不足。對于大量的且褒貶義數(shù)量相差很大的網(wǎng)絡(luò)評論文本，直接使用傳統(tǒng)的二分類技術(shù)進(jìn)行分類時，效果不太理想，尤其對那些非常重要的少數(shù)類樣本的識別。因此，如何準(zhǔn)確地對非平衡的評論文本數(shù)據(jù)進(jìn)行褒

2、貶情感分類成為一個亟待解決的問題。
　　 本文針對非平衡評論數(shù)據(jù)的情感分類問題進(jìn)行了研究，主要在數(shù)據(jù)層面，對訓(xùn)練樣本的多數(shù)類進(jìn)行下采樣，以使數(shù)據(jù)達(dá)到平衡，然后再使用傳統(tǒng)的分類技術(shù)進(jìn)行分類。論文的主要貢獻(xiàn)有以下三個方面:
　　 (1)基于聚類的下采樣算法
　　 本文提出了基于聚類的非平衡數(shù)據(jù)下采樣算法CUA(Cluster-based Under-sampling Algorithm，CUA)。該方法通過對訓(xùn)練數(shù)據(jù)

3、集的多數(shù)類樣本進(jìn)行聚類，從聚類的每個簇中隨機(jī)地選出代表點，以使訓(xùn)練數(shù)據(jù)達(dá)到平衡。通過與不進(jìn)行裁剪和隨機(jī)下采樣兩種方法的比較，結(jié)果表明:①在處理面向情感分類的非平衡數(shù)據(jù)時，使用下采樣方法進(jìn)行數(shù)據(jù)的平衡化處理很有必要。②基于聚類的下采樣方法在性能上比隨機(jī)下采樣方法穩(wěn)定。
　　 (2)類邊界區(qū)域裁剪算法
　　 本文提出了類邊界區(qū)域的裁剪算法BRC(Boundary Region Cutting Algorithm，BRC)，該

4、算法主要對類邊界的高密區(qū)中的多數(shù)類樣本進(jìn)行裁剪，改變類邊界區(qū)域的數(shù)據(jù)分布，盡量使類邊界區(qū)域變得清晰分明。經(jīng)過對六個數(shù)據(jù)集的三組實驗，得出以下結(jié)論:①通過對權(quán)重模式TFIDF、TF和Presence的比較，發(fā)現(xiàn)在大多數(shù)情況下，Presence權(quán)重模式比其它兩種模式效果好。②研究了參數(shù)α和β的變化對BRC算法的影響。實驗結(jié)果表明，參數(shù)值越小時BRC算法的效果越好。而使用BRC+RS方法時，參數(shù)設(shè)置往往要比只使用BRC大一些，才能達(dá)到更好的效

5、果。⑧比較BRC和BRC+RS裁剪方法的性能。實驗結(jié)果表明，BRC算法可以增強(qiáng)少數(shù)類的召回率，但會影響少數(shù)類的準(zhǔn)確率和多數(shù)類的召回率。BRC+RS算法，能使多數(shù)類和少數(shù)類的F值都得到明顯的提升?？傮w來看，BRC+RS方法比BRC方法性能好。
　　 (3)非平衡數(shù)據(jù)集裁剪實驗方案設(shè)計
　　 針對非平衡評論數(shù)據(jù)的情感分類問題，設(shè)計了驗證和測試兩種實驗方案，其中測試方案又分為平衡測試集和非平衡測試集兩種情況。采用RS、CUA和