拼寫校正技術(shù)在信息檢索和文本處理領域的應用.pdf

1、拼寫校正是自然語言處理領域研究的一個熱點。隨著信息檢索和文本處理系統(tǒng)的大規(guī)模應用，人工輸入的文檔中不可避免地包含拼寫錯誤。對用戶輸入到搜索引擎中的查詢或包含錯誤拼寫的文檔的處理會帶來計算機資源和用戶時間的極大浪費。 在針對拼寫校正技術(shù)的廣泛和深入調(diào)查的基礎上，我們比較了拼寫校正技術(shù)在輔助信息檢索和文本處理應用更正拼寫錯誤的異同，分別為這兩個領域設計并實現(xiàn)了系統(tǒng)。在信息檢索領域，在對海量網(wǎng)頁查詢?nèi)罩痉治龅幕A上，我們發(fā)現(xiàn)錯誤拼寫詞

2、與其正確拼寫建議往往在相同或者類似的上下文中出現(xiàn)，而與其他拼寫相近的候選建議極少出現(xiàn)甚至不出現(xiàn)。我們使用分布式相似度指標對這種上下文相似性進行度量。基于這個發(fā)現(xiàn)，我們首先采用了噪音信道模型，用分布式相似度對其錯誤模型進行了改進；我們還將分布式相似度作為一個特征用于最大熵判別模型中，結(jié)合編輯距離、發(fā)音相似度、語言模型等基本特征。在實驗中我們比較了噪音信道和最大熵模型的性能。 為更正文本處理應用中的拼寫錯誤，我們提出了一種新的基于判

3、別式重排序拼寫校正方法，第一次將拼寫校正問題歸結(jié)為一個排序問題，比較了傳統(tǒng)上歸結(jié)為分類問題的優(yōu)劣。該方法針對已有拼寫校正系統(tǒng)(GNU Aspell)的輸出進行重排序，使用判別式模型Ranking SVM來改進它的性能。它將現(xiàn)今較為成熟的拼寫校正技術(shù)以特征的形式整合到這個模型中來，顯著地提高了基準系統(tǒng)Aspell的初始排序質(zhì)量，同時也超過了一些商用系統(tǒng)(如Microsoft Word 2003)的拼寫校正模塊。此外，針對模型學習標注訓練對