大規(guī)模視頻庫的組織與檢索.pdf

1、Internet的普及和多媒體技術(shù)的發(fā)展使人們面臨呈爆炸性增長的視覺信息，基于內(nèi)容的視頻檢索有著廣闊的應(yīng)用前景，成為非?；钴S的研究領(lǐng)域。本文主要針對大規(guī)模視頻庫的組織與檢索技術(shù)進行研究，目的是實現(xiàn)對海量視頻數(shù)據(jù)的存儲、有效組織、快速精確的檢索。本文研究內(nèi)容涉及特征索引方法、視頻語義分類方法、相關(guān)反饋方法、視頻片段的相似度量以及視覺內(nèi)容特征的表示等問題。取得的主要成果包括： 1．基于關(guān)鍵幀序列融合的視頻片段檢索方法：相似視頻片段之

2、間至少有一對關(guān)鍵幀相似，所以首先查找至少有一個相似關(guān)鍵幀的片段作為候選視頻片段，然后再計算候選視頻片段與范例視頻片段的相似度，可以避免無關(guān)的視頻片段相似度的計算。本文提出用融合多種特征的聯(lián)合分布直方圖來表示視頻內(nèi)容的方法，并使用顏色、紋理聯(lián)合分布直方圖進行視頻子鏡頭分割，子鏡頭用關(guān)鍵幀表示。檢索時，對范例視頻片段的每個關(guān)鍵幀檢索到相似的關(guān)鍵幀，所有的相似關(guān)鍵幀按照時間連續(xù)性融合為視頻片段，它們與范例視頻片段的關(guān)鍵幀之間形成多對多的匹配關(guān)

3、系。刪除冗余的關(guān)鍵幀匹配對，形成優(yōu)化的關(guān)鍵幀匹配序列，然后綜合考慮視覺相似性和時間順序相似性計算整個視頻片段的相似性。實驗表明本文的方法符合人的視覺特性并有較低的時間復(fù)雜度。 2．基于語義監(jiān)督的特征聚類索引方法和基于Bayes的視頻語義分類方法：理想的視頻庫組織方法應(yīng)該把語義相關(guān)并且特征相似的視頻的特征向量相鄰存儲。針對大規(guī)模視頻庫的特點，在語義監(jiān)督下作視頻庫低層特征的層次聚類劃分，當(dāng)一個聚類中只包含一個語義類別的視頻時，為這個

4、聚類建立索引項，這個聚類稱為索引聚類。統(tǒng)計低層特征和高層特征的概率聯(lián)系，構(gòu)造Bayes分類器。用分類器可以對其它視頻數(shù)據(jù)作語義分類。查詢時對用戶的查詢范例，用Bayes分類器對查詢范例作語義分類，在該語義范圍內(nèi)查詢相似視頻片段。本文的方法不僅提高了檢索速度而且提高了檢索的語義敏感度。 3．集成低層特征和語義信息的相關(guān)反饋方法：提出了一種基于Bayes理論的低層特征和語義信息相結(jié)合的相關(guān)反饋方法，只用很少的反饋次數(shù)就可達到很好的效

5、果。本文認為正反饋和負反饋的低層特征空問都是多個分量的混合高斯分布，以便更準確的估計查詢空間的復(fù)雜分布，并且把正負反饋樣本擴展到樣本所在的索引聚類，以這些聚類形成的分類器修正相似距離。同時根據(jù)正負反饋樣本的語義信息用Bayes方法推測正反饋語義空間和負反饋語義空間，計算數(shù)據(jù)庫樣本屬于正反饋語義空間和負反饋語義空間的概率，修正視覺相似性，得到語義相近的查詢結(jié)果。 4．一種快速高效的紋理譜描述子：依據(jù)紋理視覺特性提出了紋理模式等價類

6、 的概念，從而得到更合理的紋理譜描述子。該紋理譜描述子在圖象旋轉(zhuǎn)0<'。>、90<'。>、180<'。>、270<'。>以及水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、正對角線翻轉(zhuǎn)、反對角線翻轉(zhuǎn)的情況下是不變的，具有很好的旋轉(zhuǎn)魯棒性?？梢栽诓煌叨认潞芎玫拿枋鲱I(lǐng)域內(nèi)圖象象素的灰度變化情況，具有良好的視覺一致性。 基于本文的研究內(nèi)容，實現(xiàn)了一個基于內(nèi)容檢索的視頻圖象庫原型系統(tǒng)MIRES。該系統(tǒng)基于C++和Windows平臺開發(fā)，能夠自動提取視覺特征建