圖像檢索中自動(dòng)標(biāo)注、標(biāo)簽處理和重排序問題的研究.pdf

1、近年來，隨著數(shù)碼拍照設(shè)備的普及以及網(wǎng)絡(luò)和存儲(chǔ)技術(shù)的發(fā)展，網(wǎng)絡(luò)中圖像的數(shù)量呈現(xiàn)出爆炸式的增長(zhǎng)趨勢(shì)。特別是伴隨Web2.0技術(shù)的出現(xiàn)，海量用戶產(chǎn)生的圖像得以通過社交分享網(wǎng)站（如Flickr和Instagram）被分享和傳播。與此同時(shí)，互聯(lián)網(wǎng)中圖像資源的快速增長(zhǎng)也催生了對(duì)高效的圖像檢索系統(tǒng)的需求?，F(xiàn)有的商用圖像檢索系統(tǒng)需要依賴圖像附加的文本信息來為用戶提供檢索服務(wù)。但是，人工進(jìn)行圖像標(biāo)注的過程費(fèi)時(shí)費(fèi)力，因此自動(dòng)圖像標(biāo)注技術(shù)受到圖像檢索領(lǐng)域的廣

2、泛研究。另一方面，對(duì)于社交分享網(wǎng)站中的圖像，用戶提供的標(biāo)簽往往不能準(zhǔn)確且全面地描述圖像的真實(shí)內(nèi)容，因而也難以作為圖像檢索中可靠的索引關(guān)鍵字。因此，圖像檢索研究中的一項(xiàng)基礎(chǔ)研究是來處理圖像的標(biāo)簽信息，特別是提高標(biāo)簽對(duì)圖像內(nèi)容的描述能力。除此之外，由于僅利用了圖像的文本信息，現(xiàn)有的圖像檢索系統(tǒng)返回的結(jié)果往往并不能令人滿意。因此，如何基于圖像的視覺信息對(duì)原始的檢索結(jié)果進(jìn)行重排序也是圖像檢索領(lǐng)域的重要問題之一。
　　本文展開了一系列研究工

3、作來提高當(dāng)前圖像檢索系統(tǒng)的性能，詳細(xì)討論了圖像標(biāo)注、標(biāo)簽相關(guān)度學(xué)習(xí)、標(biāo)簽推薦和圖像重排序這四個(gè)重要問題。論文的主要工作和創(chuàng)新性可以歸納為以下幾個(gè)方面:
　　(1)本文提出了一種新穎的圖像標(biāo)注方法，該方法同時(shí)改進(jìn)了基于近鄰的方法中的兩個(gè)階段。在近鄰搜索階段，不同于現(xiàn)有的方法通過預(yù)測(cè)距離來發(fā)現(xiàn)視覺近鄰，我們介紹了一種面向排序的近鄰搜索機(jī)制，采用排序?qū)W習(xí)框架來直接優(yōu)化已標(biāo)注圖像相對(duì)于待標(biāo)注圖像的相對(duì)順序，而非它們之間的絕對(duì)距離。在排序過

4、程中，我們利用了已標(biāo)注圖像中隱含的偏序信息并強(qiáng)調(diào)高位置的排序結(jié)果的準(zhǔn)確性。在關(guān)鍵詞傳遞階段，不同于現(xiàn)有的方法采用簡(jiǎn)單的啟發(fā)式規(guī)則來選擇傳遞關(guān)鍵詞，我們介紹了一種基于學(xué)習(xí)的關(guān)鍵詞傳遞策略，利用監(jiān)督學(xué)習(xí)技術(shù)來學(xué)習(xí)一個(gè)可以評(píng)估候選關(guān)鍵詞相關(guān)度的得分函數(shù)。關(guān)鍵詞的相關(guān)度是根據(jù)它與待標(biāo)注圖像的視覺近鄰之間的不同關(guān)系來決定的。在Core15K和MIRFlickr數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了該方法的有效性。
　　(2)本文提出了一種面向排序的標(biāo)簽相

5、關(guān)度學(xué)習(xí)方法，該方法從排序?qū)W習(xí)的角度來解決標(biāo)簽相關(guān)度學(xué)習(xí)這一問題，并在學(xué)習(xí)過程中直接優(yōu)化基于標(biāo)簽的圖像檢索的排序性能。具體來說，我們將監(jiān)督學(xué)習(xí)的步驟引入到近鄰?fù)镀辈呗灾?，該策略通過累積視覺近鄰的投票來估計(jì)一個(gè)標(biāo)簽的相關(guān)度。通過明確地建模視覺近鄰的權(quán)重以及標(biāo)簽之間的相關(guān)系數(shù)，我們的方法有效地避免了傳統(tǒng)的非監(jiān)督學(xué)習(xí)方法中進(jìn)行啟發(fā)式假設(shè)的風(fēng)險(xiǎn)。此外，我們的方法也解決了傳統(tǒng)的監(jiān)督學(xué)習(xí)方法中的可擴(kuò)展性問題。通過在兩個(gè)基準(zhǔn)數(shù)據(jù)集上與其他先進(jìn)的方法進(jìn)

6、行比較，我們證明了本文的方法的有效性。
　　(3)本文提出了一種結(jié)合相關(guān)性和多樣性的圖像標(biāo)簽推薦方法。以往的圖像標(biāo)簽推薦方法往往利用標(biāo)簽間的共現(xiàn)信息來進(jìn)行標(biāo)簽推薦。但是，由于忽略了圖像的視覺信息以及被推薦標(biāo)簽之間的語義多樣性，以往方法的推薦結(jié)果常存在標(biāo)簽歧義和標(biāo)簽冗余的問題。為了解決上述問題，我們的方法在推薦時(shí)綜合考慮了被推薦標(biāo)簽的相關(guān)性和多樣性。首先，方法建模每一個(gè)標(biāo)簽的視覺語言模型，并利用它來分別計(jì)算標(biāo)簽和圖像的相關(guān)性以及標(biāo)簽

7、之間的視覺距離。然后，基于上述計(jì)算，我們提出了一個(gè)貪心選擇算法來找到能合理地平衡相關(guān)性和多樣性的標(biāo)簽集合，將該集合作為最終的推薦。在Flickr數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文的方法在準(zhǔn)確率、主題覆蓋率和F1測(cè)度上均優(yōu)于其他先進(jìn)的方法。
　　(4)本文提出了一種結(jié)合相關(guān)性和多樣性的圖像重排序方法，該方法是一個(gè)基于聚類的重排序方法，綜合了已有的相互投票算法和貪心選擇算法的優(yōu)點(diǎn)。我們的方法利用相互投票算法在原始搜索結(jié)果中選擇一些圖像作為候選代