垂直搜索引擎的研究和設(shè)計(jì).pdf

1、隨著Internet的發(fā)展，網(wǎng)絡(luò)信息爆炸和人們?nèi)找嬖黾拥男畔@取需求矛盾暴露出來(lái)。網(wǎng)絡(luò)信息檢索技術(shù)成為了社會(huì)研究的熱點(diǎn)技術(shù)，其中搜索引擎技術(shù)更是蓬勃發(fā)展。本文主要對(duì)新興出現(xiàn)的垂直搜索引擎進(jìn)行了研究和討論。
　　 垂直搜索引擎是針對(duì)某一行業(yè)的搜索引擎，它使用網(wǎng)絡(luò)蜘蛛進(jìn)行數(shù)據(jù)采集，通過(guò)結(jié)構(gòu)化數(shù)據(jù)，然后把數(shù)據(jù)進(jìn)一步分詞處理存儲(chǔ)到數(shù)據(jù)庫(kù)中去。最后再以查詢(xún)的方式提供給用戶(hù)所需的信息。相對(duì)于其他搜索引擎它有著“專(zhuān)、精、深”，的特點(diǎn)。本文主要

2、討論了目前國(guó)內(nèi)垂直搜索引擎的工作原理和設(shè)計(jì)模型，并從垂直搜索引擎重要的三個(gè)方面網(wǎng)絡(luò)蜘蛛技術(shù)，結(jié)構(gòu)化數(shù)據(jù)技術(shù)，數(shù)據(jù)庫(kù)技術(shù)來(lái)闡述其具體結(jié)構(gòu)和相關(guān)細(xì)節(jié)。比較通用搜索引擎的不同，討論了信息抽取和結(jié)構(gòu)化數(shù)據(jù)的實(shí)施細(xì)節(jié)，通過(guò)實(shí)例展現(xiàn)垂直搜索引擎系統(tǒng)的模型，還對(duì)系統(tǒng)的子模塊提出優(yōu)化的方案，以提高系統(tǒng)整體性能。
　　 本文重點(diǎn)對(duì)網(wǎng)絡(luò)蜘蛛的搜索策略和實(shí)現(xiàn)算法進(jìn)行了研究。網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)算法是基于深度搜索算法改進(jìn)而來(lái)，并采用了WEB頁(yè)超鏈分析和頁(yè)面文