基于深度學(xué)習(xí)的大規(guī)模連續(xù)語(yǔ)音識(shí)別系統(tǒng)性能優(yōu)化.pdf

1、近年來(lái)隨著深度學(xué)習(xí)方法的發(fā)展以及GPGPU大規(guī)模并行計(jì)算技術(shù)的成熟，深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界得到了廣泛應(yīng)用，2012年深度學(xué)習(xí)相繼在圖像分類和語(yǔ)音識(shí)別領(lǐng)域取得了突破性成果。在語(yǔ)音識(shí)別領(lǐng)域，相對(duì)于傳統(tǒng)的GMM-HMM模型，基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的語(yǔ)音識(shí)別系統(tǒng)獲得了超過(guò)30％的相對(duì)性能提升。但是可能需要花費(fèi)數(shù)個(gè)月的時(shí)間去訓(xùn)練一個(gè)DNN模型，基于反向傳播算法的DNN訓(xùn)練過(guò)程巨大的計(jì)算復(fù)雜度使得DNN訓(xùn)練成為一個(gè)瓶頸。不像傳統(tǒng)GMM-HMM

2、模型的Baum-Welch訓(xùn)練，因?yàn)轭l繁的更新整個(gè)模型，基于minibatch的BP訓(xùn)練很難實(shí)現(xiàn)并行。
　　本文實(shí)現(xiàn)了一個(gè)綜合提高DNN訓(xùn)練效率框架，從三個(gè)層面系統(tǒng)闡述及實(shí)現(xiàn)了三種獨(dú)立加速DNN訓(xùn)練方法，包括并行訓(xùn)練，模型裁剪以及優(yōu)化DNN訓(xùn)練策略；提出了輕預(yù)訓(xùn)練深度模型初始化方法以及一種新穎的DNN訓(xùn)練策略?；谡麄€(gè)優(yōu)化系統(tǒng)，能在20小時(shí)內(nèi)完成典型的309小時(shí)Switchboard LVCSR訓(xùn)練任務(wù)，在10天左右的時(shí)間內(nèi)完成商