基于深度學(xué)習(xí)的自然語言句法分析研究.pdf

1、作為自然語言處理領(lǐng)域的核心任務(wù)之一，句法分析一直是研究人員關(guān)注的熱點問題。包括諸如問答系統(tǒng)、搜索串理解、語義分析和知識庫構(gòu)建等在內(nèi)的任務(wù)中，句法分析都是其不可缺失的一環(huán)。在深度學(xué)習(xí)技術(shù)和神經(jīng)網(wǎng)絡(luò)方法于諸多領(lǐng)域取得重要進(jìn)展的背景下，將其與自然語言處理任務(wù)相結(jié)合成為了一個十分熱點的領(lǐng)域。因此，本論文旨在研究深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在自然語言句法分析中的應(yīng)用，其具有顯著的研究意義和應(yīng)用價值。
　　本文首先研究了一個利用前饋神經(jīng)網(wǎng)絡(luò)作為分類器的

2、基于轉(zhuǎn)移的依存句法分析器。該方法較為簡單，效果尚可。通過對該模型的分析，我們對該模型進(jìn)行了細(xì)致的參數(shù)優(yōu)化，使其性能獲得了提升。
　　本文提出了一個基于長短期記憶神經(jīng)網(wǎng)絡(luò)的依存句法分析模型。該模型以前述的前饋神經(jīng)網(wǎng)絡(luò)模型作為基礎(chǔ)，并將其作為一個特征提取器。在預(yù)訓(xùn)練該特征提取器之后，我們使用長短期記憶神經(jīng)網(wǎng)絡(luò)作為轉(zhuǎn)移動作的分類器，并將貪心依存句法分析器提取的特征作為其輸入，以此訓(xùn)練一個對句子優(yōu)化的遞歸神經(jīng)網(wǎng)絡(luò)分類器。該分類器不僅能夠利

3、用當(dāng)前的格局特征進(jìn)行分類，而且可以記憶分析狀態(tài)歷史等更豐富的信息。因此，該模型對依存句法分析中整句的分析過程進(jìn)行建模，取代了貪心模型中對獨立分析狀態(tài)建模的方法。實驗結(jié)果表明，相比基線方法，模型獲得了較大的性能提升。
　　本文研究了端到端的短語結(jié)構(gòu)分析模型。在對“單關(guān)注機(jī)制”序列到序列短語結(jié)構(gòu)分析模型的實驗中我們發(fā)現(xiàn)了其解碼器對規(guī)則約束依賴的問題。為此，我們提出了“雙關(guān)注機(jī)制”以期減少解碼過程中對規(guī)則的依賴。通過引入“雙關(guān)注機(jī)制”，