基于深層結構的圖像內容分析及其應用.pdf

1、賦予計算機以人類視覺能力的長期夢想,加上近年來圖像數(shù)據(jù)爆炸式增長帶來的圖像管理、檢索等相關應用的迫切需求,使得圖像內容分析成為了視覺研究的熱門課題。圖像特征是進行圖像內容分析的基礎,本質上圖像特征是對圖像中某些結構表觀特性的總結,如顏色直方圖是對像素顏色特征的總結,詞袋模型是對圖像塊局部紋理特征的總結。然而圖像中結構的總數(shù)極其龐大,如何從中選擇一個有效子集提取圖像特征是圖像內容分析研究的重點。現(xiàn)階段的圖像特征主要基于圖像中的淺層結構（像

2、素、角點、斑點等）進行提取,淺層結構變化范圍有限,一般可以利用人工制定規(guī)則的方法進行檢測,但與語義信息關聯(lián)較弱,這也造成了基于淺層結構的圖像特征和高層語義概念之間的語義鴻溝問題。相對于淺層結構的深層結構一般是帶有較強語義的局部圖像區(qū)域（如人臉、車輪、馬腿等）,便于在語義層面進行圖像內容分析。但深層結構存在著復雜的內在變化,一般無法通過人工制定規(guī)則的方法進行檢測,往往需要借助于大量精細標注的訓練數(shù)據(jù)學習深層結構模型進行檢測,而直接通過人工

3、標注這類數(shù)據(jù)極其耗時耗力,限制了其在實際中的應用。本文針對在少量監(jiān)督信息情況下學習深層結構模型的問題提出了一些初步的解決方法,并基于提取的深層結構進行圖像內容分析,在相關具體應用中驗證了其有效性。本文的主要工作歸納如下:
　　 1.利用某些類別之間存在著相似深層結構的事實,提出了一種增量式深層結構模型學習算法。在學習新類別的深層結構模型時,借助于一些已有類別的深層結構模型作為輔助信息,在少量訓練樣本情況下學得該類別的深層結構模型

4、。
　　 2.基于社交網(wǎng)站上用戶提供的帶標簽的圖像集,提出了一種惰性多示例學習算法進行深層結構提取。該算法將圖像的標簽傳遞到深層結構,并根據(jù)每個標簽所對應深層結構的視覺屬性來詳細化該標簽的描述,從而生成圖像更詳細的描述。
　　 3.提出了一種語義特征點檢測器直接檢測圖像中語義表征力強的圖像塊,語義特征點檢測器本質上是對圖像塊按語義強弱進行劃分的分類器。為了解決直接按語義強弱標注大量圖像塊的困難,提出了一種基于弱監(jiān)督信息的

5、學習算法獲取大量類別的強語義圖像塊,并根據(jù)這些強語義圖像塊對圖像塊空間中語義區(qū)域進行劃分產生語義特征點檢測器。
　　 4.提出了一種基于多層學習獲取部位模型的算法,第一層用基于圖像塊的圖像表示用僅有圖像層標注訓練數(shù)據(jù)的學習圖像分類器,用圖像分類器自動對圖像進行詳細標注生成與類別相關區(qū)域,作為第二層學習的訓練樣本。第二層通過密集匹配定義的相似性度量和聚類算法無監(jiān)督地定義部位及它們的正例樣本,并學習各部位的初始模型啟動隱變量支持向量