Lucene排序算法研究及分布式系統(tǒng)實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速普及和數(shù)字信息的爆炸性增長(zhǎng)，搜索引擎已經(jīng)成為人們獲取信息最有效的手段之一。作為由Java編寫(xiě)的全文索引和檢索工具包，Lucene可以方便的嵌入到各種互聯(lián)網(wǎng)應(yīng)用中實(shí)現(xiàn)全文檢索功能，因此Lucene獲得了廣泛的應(yīng)用。但是，隨著數(shù)據(jù)量的不斷增大和用戶(hù)搜索請(qǐng)求的并發(fā)量增多，基于單機(jī)的Lucene搜索服務(wù)在索引構(gòu)建、索引存儲(chǔ)和搜索響應(yīng)時(shí)間上已經(jīng)不能滿(mǎn)足人們的需求，進(jìn)而關(guān)注于基于分布式的Lucene搜索和排序方法研究。
　

2、　針對(duì)Lucene基于向量空間模型的排序方法對(duì)字段長(zhǎng)度短和詞頻高的文檔敏感因而得分較高這一缺陷，本文圍繞排序算法、IK中文分詞和多域搜索三個(gè)方面來(lái)進(jìn)行改進(jìn)方法研究。首先通過(guò)例證分析了Lucene排序算法存在的不足，并針對(duì)應(yīng)用中用戶(hù)希望能夠?qū)ⅰ捌ヅ涞皆蕉嗖樵?xún)?cè)~的文檔越往前排”和大多數(shù)用戶(hù)“對(duì)長(zhǎng)度在某一區(qū)間的文檔更感興趣”的需求，提出了一種調(diào)整Coord和LengthNorm因子計(jì)算方式的改進(jìn)排序算法，通過(guò)實(shí)驗(yàn)證明改進(jìn)后的排序算法在P@10

3、和Map兩個(gè)指標(biāo)上優(yōu)于原算法。本文還通過(guò)設(shè)定自定義詞典和采用智能分詞相結(jié)合的方式解決了IK中文分詞中因分詞不恰當(dāng)而導(dǎo)致的搜索結(jié)果不準(zhǔn)問(wèn)題。在多域搜索中，本文針對(duì)視頻搜索業(yè)務(wù)中的多字段排序問(wèn)題，給出了利用層次分析法設(shè)置查詢(xún)權(quán)重的解決方案，并通過(guò)實(shí)驗(yàn)驗(yàn)證可行。最后，本文給出了一種利用Lucene實(shí)現(xiàn)的基于距離的過(guò)濾和排序方案，以實(shí)現(xiàn)業(yè)內(nèi)熱門(mén)的地圖搜索功能。
　　針對(duì)單機(jī)Lucene處理海量數(shù)據(jù)時(shí)的性能問(wèn)題，本文設(shè)計(jì)了基于Hadoop平