語(yǔ)句壓縮及其應(yīng)用研究.pdf

1、碩士學(xué)位論文論文題目語(yǔ)句壓縮及其應(yīng)用研究研究生姓名張永磊指導(dǎo)教師姓名周?chē)?guó)棟專(zhuān)業(yè)名稱(chēng)計(jì)算機(jī)軟件與理論研究方向自然語(yǔ)言處理論文提交日期2013年4月語(yǔ)句壓縮及其應(yīng)用研究中文摘要I語(yǔ)句壓縮及其應(yīng)用研究中文摘要近年來(lái)隨著各類(lèi)信息的日益增多，人們對(duì)信息處理的需求促進(jìn)了自然語(yǔ)言處理技術(shù)的空前發(fā)展。與此同時(shí)，人們對(duì)如何在海量的信息中及時(shí)找出有價(jià)值的信息越來(lái)越關(guān)注，語(yǔ)句壓縮作為自然語(yǔ)言處理的基礎(chǔ)日益受到研究者的關(guān)注。語(yǔ)句壓縮可以應(yīng)用于自動(dòng)摘要、自動(dòng)標(biāo)題

2、、搜索引擎和話(huà)題檢測(cè)等諸多任務(wù)中。目前，主流的語(yǔ)句壓縮研究主要基于語(yǔ)料驅(qū)動(dòng)的監(jiān)督模型。本文采用監(jiān)督模型中的判別式模型，通過(guò)學(xué)習(xí)成分句法樹(shù)的剪裁實(shí)現(xiàn)語(yǔ)句壓縮。本文的研究?jī)?nèi)容主要包括以下幾個(gè)方面：1、基于結(jié)構(gòu)化學(xué)習(xí)的語(yǔ)句壓縮研究。首先，使用匹配抽取的方式構(gòu)建中文平行語(yǔ)料庫(kù)；然后，提出語(yǔ)料庫(kù)擴(kuò)展方式，為解決語(yǔ)料庫(kù)規(guī)模小的問(wèn)題提供了新思路；最后，使用結(jié)構(gòu)化學(xué)習(xí)算法學(xué)習(xí)源語(yǔ)句成分句法樹(shù)的剪裁過(guò)程，并實(shí)現(xiàn)語(yǔ)句壓縮。實(shí)驗(yàn)結(jié)果表明，基于結(jié)構(gòu)化學(xué)習(xí)的語(yǔ)句

3、壓縮模型具有很好的性能，且提出的語(yǔ)料庫(kù)擴(kuò)展方式具有可行性。2、語(yǔ)句壓縮解碼方法研究。在基于判別式模型的方法下，提出使用整型規(guī)劃方法解碼。通過(guò)將語(yǔ)句壓縮問(wèn)題轉(zhuǎn)換為整型規(guī)劃問(wèn)題實(shí)現(xiàn)最優(yōu)目標(biāo)語(yǔ)句的查詢(xún)，該解碼方法能在保持較好的壓縮率的情況下保留源語(yǔ)句的主要信息。3、語(yǔ)句壓縮評(píng)測(cè)指標(biāo)研究。針對(duì)語(yǔ)句壓縮缺乏合適的自動(dòng)評(píng)測(cè)指標(biāo)，本文在基于單詞刪除的語(yǔ)句壓縮系統(tǒng)中，引入了BLEU和NGram兩種評(píng)測(cè)指標(biāo)用于評(píng)測(cè)語(yǔ)句壓縮性能，并通過(guò)實(shí)驗(yàn)驗(yàn)證了這兩種評(píng)測(cè)