基于統(tǒng)計語言模型的拼寫錯誤檢查系統(tǒng)的研究與實現(xiàn).pdf

1、自然語言處理是實現(xiàn)計算機與人之間使用自然語言進行有效通信的科學(xué)領(lǐng)域，可以提高計算機的易用性和人機交互的友好性。自然語言處理包含機器翻譯、語音識別、拼寫檢查和語音合成等眾多領(lǐng)域，作為其中的一個重要分支，拼寫錯誤檢查是提高計算機系統(tǒng)友好性和使用效率的重要工具，其準(zhǔn)確性、計算效率、系統(tǒng)規(guī)模與靈活性是研究的重點。
　　基于語法規(guī)則的拼寫錯誤檢查存在誤判率高、規(guī)則爆炸的問題，因此基于統(tǒng)計方法的拼寫錯誤檢查是目前研究的趨勢。然而，文本的拼寫錯

2、誤檢查工作量與文本的數(shù)量成正比，隨著文本規(guī)模的不斷擴大、文本內(nèi)容專業(yè)性和繁雜程度的提高，以及大型語料庫內(nèi)容日趨龐雜，其效率與質(zhì)量問題逐漸凸顯。建立高效的語料庫以及相應(yīng)的更新與維護機制可以為拼寫錯誤檢查系統(tǒng)的計算性能提供保障，而設(shè)計良好的拼寫錯誤檢查模型及算法可以提高拼寫錯誤檢查結(jié)果的準(zhǔn)確率。本論文圍繞焦點科技股份有限公司旗下英文電子商務(wù)網(wǎng)站“中國制造網(wǎng)”(www.made-in-china.com)的拼寫錯誤檢查的需求展開系統(tǒng)研發(fā)工作，

3、如何有針對性地提高行業(yè)詞匯分辨能力、充分利用用戶反饋、降低資源占用率以及增加系統(tǒng)處理并發(fā)度等問題也是論文需要解決的重要問題。
　　針對上述問題，本論文使用N-gram統(tǒng)計模型作為主要技術(shù)手段，在此之上進行優(yōu)化和改進，解決拼寫錯誤檢查準(zhǔn)確性、計算效率和系統(tǒng)靈活性的問題，實現(xiàn)了一個英文拼寫錯誤檢查原型系統(tǒng)MICSpellChecker。它能夠為在線和離線文檔提供英文檢查和糾錯功能，對涉外電子商務(wù)網(wǎng)站或其他系統(tǒng)的文檔正確性檢查提供支持。

4、論文首先研究和設(shè)計了拼寫錯誤檢查系統(tǒng)的總體結(jié)構(gòu)，包括數(shù)據(jù)服務(wù)、支撐服務(wù)和應(yīng)用服務(wù)及其中各個模塊的劃分與接口的設(shè)計;然后對系統(tǒng)的數(shù)據(jù)基礎(chǔ)——語料庫的數(shù)據(jù)來源、結(jié)構(gòu)劃分和維護機制進行了研究與設(shè)計;接著分析并設(shè)計了系統(tǒng)關(guān)鍵模塊的解決方案和算法，包括錯誤檢查和正確單詞推薦中的統(tǒng)計語言算法、用戶文本統(tǒng)計信息的收集機制以及語料庫的更新算法等，并對檢查結(jié)果和推薦結(jié)果的準(zhǔn)確性與合理性進行了分析和檢驗;最后實現(xiàn)了系統(tǒng)的各個模塊并進行了集成與測試，根據(jù)對系

5、統(tǒng)測試結(jié)果的分析，驗證了本論文的拼寫錯誤檢查系統(tǒng)在功能與性能上達到了實際使用中的需求。
　　論文基于對現(xiàn)有統(tǒng)計語言模型與語料庫的改進，為焦點科技電子商務(wù)網(wǎng)站“中國制造網(wǎng)”提供英文拼寫錯誤檢查系統(tǒng)。本文研究中使用的分類語料庫具有查詢速度快與擴展性良好的特點，系統(tǒng)中的語料庫加權(quán)計算方案是對N-gram模型的一個改進，可以有效提高拼寫錯誤檢查中結(jié)果的準(zhǔn)確率和系統(tǒng)運行中對語料庫調(diào)用的靈活性，為將來的拼寫錯誤檢查以及相關(guān)的自然語言處理的改進