基于大規(guī)模語(yǔ)料庫(kù)的中文同義詞抽取方法研究.pdf

1、隨著計(jì)算機(jī)的日益普及、因特網(wǎng)的迅猛發(fā)展,網(wǎng)上信息呈指數(shù)級(jí)增長(zhǎng)。同時(shí),信息資源的共享度愈來(lái)愈高,給人們的日常生活帶來(lái)極大的便利。目前,人們每天面對(duì)大量的信息,如何從海量數(shù)據(jù)中提取有價(jià)值的信息,已經(jīng)成為信息技術(shù)領(lǐng)域研究的熱門(mén)課題。中文同義詞抽取是中文信息處理的基礎(chǔ)研究,在不同的應(yīng)用領(lǐng)域中發(fā)揮不同的作用。由于同義詞散布于海量信息中,為盡可能多地抽取同義詞,本文以大規(guī)模語(yǔ)料為研究對(duì)象。
　　互聯(lián)網(wǎng)新技術(shù)的不斷發(fā)展和信息的爆炸式增長(zhǎng),自然語(yǔ)

2、言處理和信息檢索等技術(shù)在信息的處理和獲取方面呈現(xiàn)愈加重要的作用,而同義詞又在各種自然語(yǔ)言處理和信息檢索應(yīng)用中有著重要的研究意義和應(yīng)用價(jià)值。基于此,本文提出兩種面向經(jīng)濟(jì)領(lǐng)域的字面相似與PageRank鏈接融合、點(diǎn)互信息(PointwiseMutualInformation,簡(jiǎn)稱PMI)與潛在語(yǔ)義分析(LatentSemanticAnalysis,簡(jiǎn)稱LSA)結(jié)合的同義詞方法,可從海量語(yǔ)料庫(kù)中獲取大量的同義詞集合。
　　字面相似與Pa

3、geRank鏈接融合方法建立在字面相似方法和PageRank鏈接方法基礎(chǔ)之上,充分利用了字面相似方法的構(gòu)詞特征和PageRank鏈接方法詞匯間語(yǔ)義的聯(lián)系。既考慮了兩個(gè)詞匯的匹配序、匹配度,又考慮了兩個(gè)詞匯之間的解釋與被解釋的鏈接關(guān)系。
　　點(diǎn)互信息與潛在語(yǔ)義分析結(jié)合方法是以互信息原理和潛在語(yǔ)義分析理論為基礎(chǔ),點(diǎn)互信息通過(guò)兩個(gè)詞匯之間的互信息,對(duì)多個(gè)詞匯間的互信息進(jìn)行簡(jiǎn)單有效的估計(jì);潛在語(yǔ)義分析將計(jì)算機(jī)科學(xué)、數(shù)學(xué)、情報(bào)學(xué)的思想、技術(shù)

4、和手段結(jié)合起來(lái),對(duì)詞匯的潛在含義進(jìn)行挖掘,根據(jù)兩個(gè)詞匯在語(yǔ)義上的關(guān)聯(lián),達(dá)到檢索結(jié)果的目的?；贚SA的同義詞抽取方法始于一個(gè)詞匯與文檔聯(lián)系的大規(guī)模矩陣,自動(dòng)地建造了一個(gè)語(yǔ)義空間,使得使用者能夠發(fā)現(xiàn)相關(guān)信息。只要在概念上與該文檔的主體思想聯(lián)系相一致,在語(yǔ)意空間中它們?nèi)匀痪o靠在該文檔附近。因此詞匯和文檔在語(yǔ)義空間的位置可以用來(lái)作為一種主意指引,提取信息的過(guò)程就是利用提問(wèn)式中的關(guān)鍵詞來(lái)識(shí)別空間的一個(gè)點(diǎn),在這個(gè)點(diǎn)附近的文檔按詞匯向量與文檔向量之