半結(jié)構(gòu)化文本中的表格信息抽取技術(shù)的研究.pdf

1、表格作為網(wǎng)頁(yè)的一部分，它簡(jiǎn)單，容易使用，是一個(gè)非常常見(jiàn)的表示圖解，而且表格里面蘊(yùn)含豐富的信息，所以它對(duì)信息抽取，數(shù)據(jù)挖掘等領(lǐng)域具有很大的吸引力。表格里面的內(nèi)容可以為我們提供了豐富的信息，是一個(gè)寶貴的知識(shí)來(lái)源，因此從表格中抽取信息是一個(gè)很值得研究的課題。
　　本文通過(guò)分析半結(jié)構(gòu)化表格的布局和內(nèi)容方面的特性，發(fā)現(xiàn)了表格的特征，提出了用最大熵方法進(jìn)行訓(xùn)練。為了提高訓(xùn)練的精度，本文在選取特征的時(shí)候，考慮到了表格的跨多行、跨多列等的布局特征

2、。本文把半結(jié)構(gòu)化文本中的表格信息抽取技術(shù)研究分為兩個(gè)部分：第一個(gè)部分是表格的識(shí)別工作，第二個(gè)部分是表格信息抽取工作。
　　第一部分的表格識(shí)別研究，由于目前的啟發(fā)式規(guī)則的方法取得的F度量不是太高，決策樹(shù)方法比啟發(fā)式規(guī)則的方法取得的F度量高，并且目前的表格識(shí)別研究沒(méi)有用最大熵模型的?；谶@兩種原因，所以本文提出了用最大熵模型來(lái)進(jìn)行表格識(shí)別，并和目前研究的F度量比較高的決策樹(shù)方法進(jìn)行比較，比較的時(shí)候選用了相同的語(yǔ)料庫(kù)和特征。在運(yùn)用最大熵

3、模型訓(xùn)練選取特征的時(shí)候，本文分析了表格的布局特征與內(nèi)容特征，發(fā)現(xiàn)內(nèi)容特征比布局特征更能反映出表格的特性。本文把布局特征和內(nèi)容特征結(jié)合起來(lái)作為表格的特征，利用多個(gè)專業(yè)領(lǐng)域的網(wǎng)頁(yè)作為語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，通過(guò)多次的迭代試驗(yàn)，證明了最大熵方法能夠很好的解決表格識(shí)別問(wèn)題，對(duì)表格識(shí)別的F度量能夠達(dá)到91.31％，超過(guò)了決策樹(shù)方法（F度量為87.87%）。試驗(yàn)驗(yàn)證了最大熵在處理大訓(xùn)練語(yǔ)料庫(kù)的時(shí)候比決策樹(shù)方法有優(yōu)勢(shì)，主要是因?yàn)闆Q策樹(shù)分類算法缺乏伸縮性，進(jìn)行

4、深度優(yōu)先搜索時(shí)，受內(nèi)存大小限制。
　　第二個(gè)部分的表格信息提取研究，本文提出了用HTML Tidy工具來(lái)解決網(wǎng)頁(yè)源代碼中存在的很多不規(guī)范問(wèn)題，比如丟失標(biāo)簽，標(biāo)簽順序混亂等等。對(duì)于表格的內(nèi)容抽取，本文簡(jiǎn)單介紹了基于Wrapper的提取方法和基于Dom的提取方法，因?yàn)镈om方法更適合于提取結(jié)構(gòu)化的信息，而表格里面的內(nèi)容恰好具有“屬性-值”這樣的結(jié)構(gòu)化特性，所以在表格信抽取系統(tǒng)中，本文采用了基于Dom的抽取方法來(lái)提取表格內(nèi)容。系統(tǒng)中，本