垂直搜索引擎中關鍵技術的研究.pdf

1、搜索引擎的出現(xiàn)滿足了人們的檢索需求，眾所周知的百度、Google等搜索引擎已經深深地滲入到人們的日常生活中了。然而Internet數(shù)據量已經超出了搜索引擎所能覆蓋的范圍，全球互聯(lián)網資源已達數(shù)以億計，人們很難從通用搜索引擎獲取自己所需的特定主題領域的信息。垂直搜索引擎的出現(xiàn)，解決了這一難題，實現(xiàn)了特定用戶對特定主題信息的準確檢索。
　　本文簡要介紹了課題研究背景、搜索引擎的基本工作原理以及垂直搜索引擎在國內外的發(fā)展現(xiàn)狀，闡述了垂直搜

2、索引擎的相關理論，給出了垂直搜索引擎的基本概念、與通用搜索引擎的區(qū)別和評價垂直搜索引擎性能的準則。并介紹了垂直搜索引擎的各組成模塊及其功能，對垂直搜索引擎中所涉及的核心技術進行了深入的研究，主要有爬蟲技術、網頁結構化提取技術，中文分詞技術和Lucene索引技術，這些技術應用于垂直搜索引擎中的信息采集模塊、信息提取模塊、索引模塊和用戶接口模塊的實現(xiàn)。其中，信息采集模塊利用爬蟲技術從Internet網絡上爬取數(shù)據；信息提取模塊是對已下載的網

3、頁進行結構化的提取操作；索引模塊將提取到的結構化信息建立索引庫；用戶結構模塊給用戶提供了一個查詢界面，供用戶提供查詢請求和返回結果給用戶。
　　本文主要的研究工作及創(chuàng)新點有：通過擴展和改進功能強大的開源爬蟲框架Heritrix，使其對體育用品信息能夠實現(xiàn)定向抓取，引入APHash算法，改進隊列分配策略，極大地提高了Heritrix爬蟲的效率；用體育用品品牌等專業(yè)詞匯擴充了JE分詞工具所用到的主題詞庫，使其成為特色專業(yè)詞庫，在很大程