面向垂直搜索的信息抽取研究.pdf

1、繼google和baidu引領水平搜索技術之后，面向領域的垂直搜索技術在處理海量的數(shù)據(jù)方面扮演著越來越重要的角色。目前，網絡上的資源非常的豐富，人們若想尋找如住房，工作，二手車交易等信息，就要寄希望于垂直搜索。垂直搜索引擎和普通的網頁搜索引擎的最大區(qū)別是對網頁信息進行了結構化信息抽取，也就是將網頁的非結構化數(shù)據(jù)抽取成特定的結構化信息數(shù)據(jù)。然后將這些數(shù)據(jù)存儲到數(shù)據(jù)庫，進行進一步的加工處理，如：去重、分類等，最后分詞、索引再以搜索的方式滿足

2、用戶的需求[1]。 本文所做的工作就是抽取人物基本資料信息。在觀察和分析了網絡上關于個人信息的描述之后，進行人物基本資料的信息抽取。主要內容包括：去除網頁噪音信息，定位主題信息，主要從WEB頁面找到該頁面的主題信息一對人物信息的描述：再根據(jù)描述的文本類型分類，分別對頁面結構化文本和自由文本，給出不同的抽取方法。其中對頁面結構化類型采取DOM樹抽??；對于自由文本信息，采取小句相似度計算確定句子主題，然后在該小句中，根據(jù)主題進行信息