基于隱變量模型的監(jiān)督式哈希算法.pdf

1、隨著信息技術(shù)時(shí)代的來(lái)臨,人們每天都在互聯(lián)網(wǎng)上產(chǎn)生著海量的信息。如何對(duì)信息進(jìn)行檢索,從而在海量的信息中快速找到對(duì)自已有用的信息,就變得十分重要?；谶@樣的需求,搜索引擎在過(guò)去的十年間取得了巨大的成功,同時(shí)數(shù)據(jù)分析與挖掘技術(shù)也得到了廣泛的關(guān)注。相似最近鄰搜索是數(shù)據(jù)分析與挖掘領(lǐng)域的一個(gè)基本問(wèn)題。為了能夠在大數(shù)據(jù)集上高效地進(jìn)行相似最近鄰搜索,并且避免數(shù)據(jù)維數(shù)過(guò)高時(shí)所產(chǎn)生的一些問(wèn)題,人們利用哈希算法將高維的特征向量轉(zhuǎn)換為低維的二進(jìn)制編碼。隨著近幾

2、年機(jī)器學(xué)習(xí)的廣泛發(fā)展,人們開(kāi)始嘗試提出基于機(jī)器學(xué)習(xí)的哈希算法。
　　在本文中,我們對(duì)現(xiàn)有的哈希算法做了系統(tǒng)的回顧和分析。在學(xué)習(xí)的過(guò)程中,我們發(fā)現(xiàn)了其中存在的一些問(wèn)題和可以改進(jìn)的地方?；诖?我們提出了一種全新的基于隱變量模型的監(jiān)督式哈希算法。實(shí)驗(yàn)結(jié)果表明,我們的算法在準(zhǔn)確率和時(shí)間花費(fèi)上與現(xiàn)有的算法相比都有很大的改善。
　　我們進(jìn)一步利用基于哈希算法的k最近鄰回歸實(shí)現(xiàn)了一個(gè)針對(duì)FM L網(wǎng)站的自動(dòng)評(píng)審系統(tǒng)。該系統(tǒng)從網(wǎng)頁(yè)中提取每個(gè)

3、帖子的原始信息,利用自然語(yǔ)言處理工具對(duì)這些原始信息進(jìn)行加工,并從中抽取出可以表示帖子內(nèi)容的特征向量?；诓杉降挠?xùn)練數(shù)據(jù),該系統(tǒng)能夠自動(dòng)地對(duì)網(wǎng)站上帖子內(nèi)容的評(píng)分做預(yù)測(cè),從而達(dá)到自動(dòng)評(píng)審的目的。
　　此外,在實(shí)驗(yàn)的過(guò)程中,我們?cè)O(shè)計(jì)搭建了一個(gè)通用的平臺(tái),可以十分方便地在其上添加各種哈希算法。該平臺(tái)支持使用多種標(biāo)準(zhǔn)評(píng)價(jià)方法對(duì)算法的性能做對(duì)比。我們?cè)谶@個(gè)實(shí)驗(yàn)平臺(tái)上移植了目前已有的大部分算法,并實(shí)現(xiàn)了自已提出的全新算法,并通過(guò)大量的實(shí)驗(yàn)對(duì)它