RNN-BLSTM聲學(xué)模型的說(shuō)話人自適應(yīng)方法研究.pdf

1、說(shuō)話人自適應(yīng)技術(shù)利用特定說(shuō)話人提供的語(yǔ)料，讓語(yǔ)音識(shí)別系統(tǒng)在識(shí)別性能上針對(duì)該說(shuō)話人有明顯的提升。它可以將說(shuō)話人無(wú)關(guān)的識(shí)別系統(tǒng)轉(zhuǎn)換成說(shuō)話人相關(guān)的識(shí)別系統(tǒng)，從而和說(shuō)話人相關(guān)的聲學(xué)特征相匹配;也可以將說(shuō)話人相關(guān)的聲學(xué)特征轉(zhuǎn)換成說(shuō)話人無(wú)關(guān)的聲學(xué)特征，從而和說(shuō)話人無(wú)關(guān)的識(shí)別系統(tǒng)相匹配。因此，說(shuō)話人自適應(yīng)技術(shù)是為了讓說(shuō)話人和識(shí)別系統(tǒng)盡量匹配。
　　基于雙向長(zhǎng)短時(shí)記憶單元的遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network with

2、bidi-rectional Long Short-Term Memory, RNN-BLSTM)聲學(xué)模型不僅針對(duì)語(yǔ)音的時(shí)序進(jìn)行建模，而且利用一些控制器來(lái)控制信息流，從而解決了傳統(tǒng)的基于遞歸神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的梯度爆炸和梯度消失問(wèn)題。同時(shí)，在一些語(yǔ)音標(biāo)準(zhǔn)數(shù)據(jù)集上基于RNN-BLSTM聲學(xué)模型的語(yǔ)音識(shí)別系統(tǒng)相比于深度神經(jīng)網(wǎng)絡(luò)(Deep NeuralNetworks，DNN)獲得了超過(guò)10％的性能提升。雖然RNN-BLSTM聲學(xué)模型在識(shí)別性能

3、上相比于DNN有了大幅度的提升，但是依舊不能夠解決上述的不匹配問(wèn)題。因此，在RNN-BLSTM聲學(xué)模型上進(jìn)行說(shuō)話人自適應(yīng)技術(shù)的研究尤為重要。
　　本文主要圍繞RNN-BLSTM聲學(xué)模型上的說(shuō)話人自適應(yīng)展開(kāi)研究。首先，本文將基于說(shuō)話人編碼(speaker code)的說(shuō)話人自適應(yīng)方法應(yīng)用于RNN-BLSTM聲學(xué)模型，并分析RNN-BLSTM的記憶單元(memory cell)中的不同控制器對(duì)說(shuō)話人自適應(yīng)的識(shí)別性能的影響。與此同時(shí)，我

4、們還提出一些啟發(fā)式的算法來(lái)對(duì)基于speaker code的方法進(jìn)行優(yōu)化和改進(jìn)，從而進(jìn)一步地提升識(shí)別性能。然后，本文提出了基于深層編碼(deep code，d-code)的離線說(shuō)話人自適應(yīng)方法，該方法提供了一種解決基于speaker code的說(shuō)話人自適應(yīng)方法的二遍解碼問(wèn)題的途徑。通過(guò)實(shí)驗(yàn)對(duì)比，該方法在識(shí)別性能上與基于speaker code的方法相接近，并且比同樣不需要二遍解碼的基于鑒別性矢量(identity vector, i-ve