基于維基百科和web共現(xiàn)分析的概念關系網(wǎng)構建系統(tǒng)研究與實現(xiàn).pdf

1、隨著知識的爆炸性增長,如何從浩瀚的信息中找到用戶最需要的部分已成為一大難題。為解決這個問題,信息檢索和推薦系統(tǒng)從不同的層面提供了很好的幫助。信息檢索通過分析文檔內(nèi)容提供通用的信息查詢功能,而推薦系統(tǒng)利用用戶和內(nèi)容之間的關聯(lián),提供個性化的信息推送。但是,這些方法依然無法從總體上對知識進行理解,即從總體上把握知識的組成和各部分知識之間的關系。
　　 概念關系網(wǎng)是知識結構描述的有效手段,用于描述知識的組成部分以及各部分之間的關系。一個

2、優(yōu)良的概念關系網(wǎng)可以直觀的展示知識的內(nèi)部關系,幫助挖掘隱含的知識,用于提高知識管理系統(tǒng)的性能。
　　 在分析比較了現(xiàn)有的知識庫,包括格式化的語義關系庫和半結構化的知識集的基礎上,文章結合了維基百科的特性和共現(xiàn)分析技術,提出了概念關系網(wǎng)快速構建和自動維護的完整解決方案。本文的關鍵研究內(nèi)容如下:
　　 結合維基百科的知識處理技術和共現(xiàn)分析技術,本文提出了基于維基百科和web共現(xiàn)分析的概念關系網(wǎng)構建框架CACN-WCA(Con

3、struction Architecture ofConceptual Network Based on Wikipedia and Co-occurrence Analysis)。該框架根據(jù)概念關系網(wǎng)構建階段和更新維護階段的不同需求,分別提出了基于維基百科數(shù)據(jù)集和web數(shù)據(jù)集的解決方案。在概念關系網(wǎng)初始化階段,充分利用維基百科豐富的語義信息對概念進行標記,提出維基百科中的概念關系識別模型,實現(xiàn)概念關系網(wǎng)的快速初始化；在概念關系網(wǎng)更新階

4、段以概念共現(xiàn)和相關度之間的聯(lián)系為基礎,在大規(guī)模的web數(shù)據(jù)集中,通過對概念共現(xiàn)信息的跟蹤,實現(xiàn)了概念關系網(wǎng)的動態(tài)更新。
　　 在CACN-WCA系統(tǒng)結構的指導下,文章對概念關系網(wǎng)構建和維護的核心技術,包括維基百科概念重要度算法、維基百科概念對分析算法、新概念/新概念對識別算法以及概念對權重調(diào)整算法,進行了深入的研究。
　　 在概念關系網(wǎng)初始化階段,文章以維基百科提供的數(shù)據(jù)庫文件為分析素材。首先利用改進的Croughton

5、-London規(guī)則移除數(shù)據(jù)集中包含的不完善頁面,又稱為stub頁面,在剩余文檔中,根據(jù)文檔內(nèi)容的完整性、可靠性等標準給不同的概念標記相應的重要度。接下來,概念對分析算法以維基百科文檔為分析單位,引入了維基百科文檔星型模型來表示文檔詞條和標記概念中的關系,從中生成概念關系對。對于每個概念對權重的計算,算法中根據(jù)這一原則:標記概念在文檔中的重要度反映了該概念與文檔詞條的相關程度,從而利用文檔中概念的語義信息計算出概念對的相關度權重。

6、　　 在關系網(wǎng)更新階段,文章以基于web數(shù)據(jù)的共現(xiàn)分析技術為基礎,利用新概念/新概念對識別算法和概念對權重調(diào)整算法分別實現(xiàn)新元素的增加和已有元素屬性的調(diào)節(jié)。在新概念/新概念對識別算法中,除了出現(xiàn)頻率這一標準,文章中還提出了累計增益的概念,從變化趨勢中識別出重要的元素。在概念對權重的調(diào)節(jié)中,文章提出了概念權重衰減模型和概念權重沖激模型,在使概念權重自然衰減的同時,利用共現(xiàn)信息來重新提升概念對的相關權重,實現(xiàn)概念關系網(wǎng)的動態(tài)平衡。