基于增強(qiáng)型類(lèi)PageRank算法的搜索引擎的研究與設(shè)計(jì).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，不僅僅是整個(gè)互聯(lián)網(wǎng)的信息量暴增，許多大中型互聯(lián)網(wǎng)企業(yè)也擁有越來(lái)越多的數(shù)據(jù)。如何從成千上萬(wàn)的數(shù)據(jù)海洋中準(zhǔn)確地使用戶(hù)找到需要的信息是現(xiàn)在企業(yè)面臨的一大難題。商用的搜索引擎不具有針對(duì)性，這使得企業(yè)需要開(kāi)發(fā)自身的搜索引擎以便滿(mǎn)足用戶(hù)需求。從無(wú)到有開(kāi)發(fā)和維護(hù)一個(gè)完整的搜索引擎是非常昂貴的。除了專(zhuān)門(mén)從事搜索引擎運(yùn)營(yíng)的公司（如Google、Baidu）之外，其他的互聯(lián)網(wǎng)企業(yè)想要開(kāi)發(fā)具備專(zhuān)業(yè)性能的搜索引擎是十分困難的。開(kāi)源程式庫(kù)L

2、ucene很好地解決了開(kāi)發(fā)企業(yè)內(nèi)部搜索引擎的問(wèn)題。然而開(kāi)源的程式庫(kù)是為了適應(yīng)大多數(shù)站內(nèi)搜索系統(tǒng)，缺乏個(gè)性化，并不能滿(mǎn)足企業(yè)搜索系統(tǒng)的針對(duì)性。同時(shí)由于Lucene排序算法比較簡(jiǎn)單、忽視用戶(hù)反饋、偏重舊網(wǎng)頁(yè)等缺點(diǎn)，不能準(zhǔn)確地滿(mǎn)足用戶(hù)的需求。
　　為了幫助企業(yè)應(yīng)對(duì)互聯(lián)網(wǎng)環(huán)境的新挑戰(zhàn)，開(kāi)發(fā)一個(gè)能用于搜索較大數(shù)據(jù)庫(kù)的搜索系統(tǒng)，同時(shí)保證用戶(hù)能夠得到友好的界面搜索體驗(yàn)和更加精確的查詢(xún)結(jié)果，本文工作如下：
　?。?）為了解決用戶(hù)反饋問(wèn)題，本

3、文利用Lucene搭建搜索引擎的基本框架，類(lèi)比PageRank算法采用鏈接作為網(wǎng)頁(yè)重要性的評(píng)價(jià)指標(biāo)，建立用戶(hù)查詢(xún)和網(wǎng)頁(yè)點(diǎn)擊率之間的聯(lián)系，提出類(lèi)PageRank算法（Similar Page Rank，SPR）。再針對(duì)專(zhuān)用系統(tǒng)對(duì)實(shí)時(shí)性和用戶(hù)興趣度反饋的要求，在算法中添加時(shí)間函數(shù)和用戶(hù)興趣度函數(shù)，得到增強(qiáng)型類(lèi)PageRank算法（Enhanced Similar Page Rank，ESPR）。
　?。?）在新算法的基礎(chǔ)上對(duì)整個(gè)系統(tǒng)進(jìn)

4、行完整的原理分析，詳細(xì)闡述了ESPR算法嵌入到系統(tǒng)中的過(guò)程。首先重新定義了分詞之后索引結(jié)構(gòu)圖，直觀的說(shuō)明了對(duì)整個(gè)索引結(jié)構(gòu)做出的調(diào)整。然后結(jié)合Lucene原有的語(yǔ)法分析方式完整地推導(dǎo)出搜索索引過(guò)程中ESPR算法的打分公式。
　　（3）根據(jù)對(duì)各個(gè)模塊的原理分析，通過(guò)編程實(shí)現(xiàn)了基于增強(qiáng)型類(lèi)PageRank算法的搜索引擎。Lucene具有良好的封裝性和繼承性，可以在自定義打分模塊中實(shí)現(xiàn)對(duì)程序的修改。由算法導(dǎo)致的索引結(jié)構(gòu)變化也可以在相應(yīng)的模

5、塊中重新定義。
　?。?）將本文的搜索引擎和其它兩類(lèi)搜索引擎進(jìn)行查準(zhǔn)率性能比較。通過(guò)5人技術(shù)小組綜合評(píng)定三個(gè)搜索引擎單個(gè)查詢(xún)和多組查詢(xún)效果。實(shí)驗(yàn)結(jié)果表明不管是單個(gè)查詢(xún)返回的結(jié)果還是多組查詢(xún)返回的結(jié)果，本文的搜索引擎均擁有更高的查準(zhǔn)率。
　　基于ESPR算法的搜索引擎成本低、準(zhǔn)確率高、針對(duì)性強(qiáng)，因此可用于大中型互聯(lián)網(wǎng)企業(yè)提供適合企業(yè)自身信息特點(diǎn)的精確搜索服務(wù)。除此之外，擁有海量數(shù)據(jù)的傳統(tǒng)企業(yè)進(jìn)軍互聯(lián)網(wǎng)時(shí)也非常適合采用本文的搜索