基于海量文本的語義構建方法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和信息量的急劇增加，如何快速、有效的獲取信息越來越受到人們的關注。傳統(tǒng)的自然語言處理方法已經(jīng)逐漸不能人們的要求，如何使用智能化的手段對信息進行加工和處理已經(jīng)成為一個十分重要的問題。
　　對文本信息進行自動化處理的基礎和關鍵是理解文本的語義，即使用形式化的語義結構表示文本的含義，并且這種語義結構應該是可以被計算機所理解和處理的。目前將文本轉(zhuǎn)化為語義結構的方法主要有基于專家知識的方法和基于數(shù)據(jù)統(tǒng)計的方法兩種，但由于

2、自然語言文本和形式化的語義結構之間存在巨大的差距，因此難以實現(xiàn)良好的轉(zhuǎn)換效果。
　　為了避免直接從自然語言映射到語義結構十分困難的問題，研究人員提出了以“謂詞-論元結構”為核心的淺層語義分析理論，又稱語義角色標注。該理論著眼于詞匯層面，主要目的是建立語句中各詞匯或短語等句法成分之間的語義關系。淺層語義分析可以被看作是一種通用的語義抽取技術，并且可以作為深層語義分析的基礎，因此得到了快速的發(fā)展，并被廣泛應用于自然語言處理的各個相關領

3、域中。
　　本文在以上成果的基礎上，對基于淺層語義分析的海量文本語義構建方法進行了研究，主要包括以下幾方面工作:
　　1.提出了一個基于海量文本的語義構建框架。該框架以“謂詞-論元結構”為核心，通過語義角色歸納實現(xiàn)了對海量文本的語義角色標注，然后根據(jù)“謂詞-論元結構”與語義結構之間的映射關系，實現(xiàn)了文本的深層語義構建。
　　2.提出了一種基于多特征的語義角色歸納算法。該方法將語義角色歸納視為一個聚類問題，對于給定的謂詞

4、，首先從大規(guī)模文本中找到給定謂詞的所有論元，然后根據(jù)論元的語法結構復雜程度將論元集合劃分為簡單論元和復雜論元兩種類型，并針對不同類型論元，使用不同的特征進行對論元集合進行劃分。然后使用一種經(jīng)過改進的層次聚類算法對劃分結果進行進一步合并，最終聚類所得的每一個簇代表謂詞的一個語義角色。該方法不需要人工標注的數(shù)據(jù)，能夠自動從大規(guī)模文本中得到各謂詞的“謂詞-論元結構”。
　　3.提出了一種基于語義相似度的謂詞-論元結構與本體的映射算法。本

5、文使用本體作為文本語義的描述方式。面向語義構建的本體大多以事件為核心進行組織。本文提出的方法通過計算“謂詞-論元結構”與本體中謂詞相關事件的語義相似度，建立了“謂詞-論元結構”到本體中事件的映射關系，這一映射關系將語言層面的內(nèi)容與語義層面的內(nèi)容聯(lián)系在一起。對于文本來說，在經(jīng)過句法分析和語義角色標注后，可以通過該映射關系轉(zhuǎn)化為語義結構，形成一個完成的語義構建過程。
　　4.提出了一種語義構建結果的自評價機制。針對不同的語義構建算法對

6、不同文本適用能力不同的現(xiàn)象，本文提出了一種自評價機制。該機制從三個層面對整個語義構建過程中不同階段的結果進行評價，給出了結果的可信度的度量辦法。利用該可信度，可以從結果集中篩選出相對正確的部分。
　　本文提出海量文本語義構建方法一方面利用海量文本的規(guī)模優(yōu)勢，實現(xiàn)了文本語義角色的無監(jiān)督標注，克服了有監(jiān)督的方法需要大量訓練數(shù)據(jù)的問題，使得語義標注可以在不同領域和語言之間方便的擴展。另一方面，通過“謂詞-論元結構”到本體映射關系的自動建