基于情感特征信息增強的語音情感識別研究.pdf

1、語音情感識別(SER;Speech Emotion Recognition)是當前研究的熱點之一，旨在通過語音信號來估計情感狀態(tài)的情況.語音情感識別主要的應用集中于人機交互(HCI;Human-Computer Interaction)、自閉癥或抑郁癥的初步診斷、極限環(huán)境下負面情緒的監(jiān)測等.然而，由于適用于語音情感識別的常用特征集(paralinguistic特征)通?？赡芎幸恍┏楦凶R別外更適合其他任務的成分，所以在大部分原始特征集

2、上，直接得到對于識別語音情感有效的特征較為困難.
　　因此，本文將基于情感特征信息增強的語音情感識別作為關鍵問題進行研究.基于情感特征信息增強的方法通過綜合考慮訓練樣本的信息（如，特征、標簽等），構建訓練學習模型.接著，保持并強化該模型中的關鍵情感特性，并將其用于對樣本進行特征重構，生成新的特征.這些經(jīng)過訓練學習的特征更適用于識別或估計等目標任務，從而使系統(tǒng)性能得到提升.
　　但是，由于在特征集中常常存在著大量不利于識別情感

3、成分的干擾因素，所以不同于特征信息增強中其他一些研究較多的應用課題（如，人臉識別、說話人識別、語音識別等），解決語音信號中的情感識別問題有著較大的難度.因此，和特征信息增強相關的已有工作并不一定能夠保證有效地識別語音中的情感成分，尤其在進一步實用化研究方面.本文中著重研究了作為特性保持思想細化研究課題之一的子空間學習方法，及其衍生出的各種結構，以強化語音中情感特征信息的表達.通過充分的實驗驗證，所提出的一系列算法能夠較有效地解決語音情感

4、識別問題.
　　本文的主要貢獻如下所述:
　　(1)本文在多核子空間學習的結構下提出使用多尺度核，以有效地識別語音中的情感成分.算法在使用Fisher判別嵌入圖的同時，針對語音情感識別提出多尺度Gaussian核，用于構建多核學習(MKL;Multiple Kernel Learning)中Gram陣的最優(yōu)化線性組合.為評價所提出的MS-KFDA(Multiscale-Kernel Fisher Discriminant A

5、nalysis)算法的識別性能，本文在多個語音情感數(shù)據(jù)庫上，使用openSMILE中不同公開特征集進行了大量實驗驗證.實驗結果表明，所提出的方法相比于常用線性維數(shù)約簡方法以及單核方法，具有更好的識別性能.
　　(2)進而，本文提出了一個使用局部懲罰判別分析的多尺度核學習方法，即MS-KLPDA(Multiscale-Kernel Locally Penalised Discriminant Analysis)，并將所提出的算法用于

6、識別語音中的情感成分.在提出的方法中，加入局部懲罰判別分析項來控制邊界樣本對的權重，同時使用多尺度核學習的結構.通過語音情感數(shù)據(jù)庫上一系列實驗證明，所提出的MS-KLPDA方法在識別語音中的情感成分時，識別性能高于MS-KFDA以及一些常用算法.
　　(3)本文針對多核子空間學習提出了一個二維的統(tǒng)一框架結構，該結構在多核學習的基礎上提供了多個不含有非負約束的線性組合，將多核學習和二維子空間學習相結合，這樣在學習過程中保有了更多的信

7、息.針對語音情感識別的應用背景，在此框架下使用判別嵌入圖，提出了一個新算法，即廣義多核判別分析(GMKDA;Generalised Multiple Kernel Discriminant Analysis)，算法中同樣采用所提出框架中提出的附加多核線性組合映射方向.多個基本的語音情感數(shù)據(jù)庫上的實驗結果表明，本文所提出的方法與一些常用方法以及子空間學習方法相比，能夠針對語音情感識別的應用需求，取得更好的識別性能.
　　(4)本文聯(lián)

8、系極限學習機(ELM;Extreme Learning Machine)和子空間學習，提出了統(tǒng)一的廣義譜回歸(GSR;Generalised Spectral Regression)框架，涵蓋了圖嵌入(GE;Graph Embedding)框架下譜回歸(SR;Spectral Regression)的子空間學習，以及ELM方法.本文所提出的框架包括三個模塊:數(shù)據(jù)映射、圖分解、回歸.在數(shù)據(jù)映射階段，可以使用不同的映射方式提供對于樣本不同視

9、角的觀測;在圖分解階段，設計得到的嵌入圖通過譜分解求得虛擬坐標，這樣就提供了一種能夠更好描述數(shù)據(jù)結構的途徑;最后，在回歸階段，通過回歸運算將虛擬坐標同數(shù)據(jù)映射聯(lián)系起來，從而完成對低維特征的學習.由該框架，提出了幾種新的維數(shù)約簡方法用于解決computational paralinguistics問題（如語音情感識別等）.之后，本文將一些先進的算法同所提出的方法在多個語音情感數(shù)據(jù)庫上進行了詳細的對比實驗.
　　(5)本文提出了基于人