視頻自動分割及語義提取若干關(guān)鍵技術(shù)研究.pdf

1、對視頻數(shù)據(jù)的有效處理、瀏覽、檢索和管理正伴隨著視頻數(shù)據(jù)的快速增長而成為亟待解決的現(xiàn)實問題。視頻內(nèi)容分析技術(shù)旨在將非結(jié)構(gòu)化的視頻數(shù)據(jù)結(jié)構(gòu)化,并提取其中的語義內(nèi)容,最終建立視頻索引和檢索等應(yīng)用系統(tǒng),提供給用戶方便的視頻內(nèi)容獲取方式,它綜合了多媒體處理、模式識別、計算機(jī)視覺、圖像理解等領(lǐng)域的知識,具有廣闊的應(yīng)用前景。本文按照視頻內(nèi)容分析的邏輯順序,研究了鏡頭檢測、場景分割、圖像流和音頻流中若干語義對象的提取及融合多模態(tài)對象實現(xiàn)視頻中的眾多語義

2、事件檢測等技術(shù)。主要創(chuàng)新和研究結(jié)果如下：
　　 ⑴提出了基于運(yùn)動補(bǔ)償和自適應(yīng)雙閾值的鏡頭檢測算法。在該算法中,融合了運(yùn)動特征和圖像特征。先是提取前后兩幀圖像中的分塊運(yùn)動矢量,然后對運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償,在此基礎(chǔ)上根據(jù)前后幀間的像素值不變點數(shù)計算自適應(yīng)雙閾值實現(xiàn)鏡頭的突變和漸變的檢測。實驗證實該算法不僅能夠有效地檢測出突變和漸變,而且算法適應(yīng)于多種視頻,具有一定的普適性,并且因為采用了運(yùn)動補(bǔ)償,所以對視頻幀間的運(yùn)動具有較強(qiáng)的魯棒性

3、。
　　 ⑵分別以影視類視頻和廣告視頻為研究對象,提出了兩種場景分割算法。首先以影視類視頻為研究對象,針對以往基于閾值聚類的場景檢測算法中存在的需要設(shè)置經(jīng)驗閾值及聚類后得不到各類的類別中心的缺陷,提出了新穎的基于均值漂移聚類的場景檢測算法。在該算法中,先是基于均值漂移,在滑動鏡頭窗內(nèi)對各鏡頭聚類,并獲得相應(yīng)的聚類中心,然后根據(jù)電影視頻場景的發(fā)展模式,計算兩個鏡頭類之間的時序距離,接著基于時空關(guān)系進(jìn)行場景檢測,并且由相應(yīng)的聚類中心

4、獲得場景關(guān)鍵幀,最后對場景過分割進(jìn)行后續(xù)處理。實驗證實該方法能快速聚類,并且能有效的檢測出場景和場景關(guān)鍵幀。隨后以廣告視頻為研究對象,結(jié)合視頻的特色,先是對音頻建立高斯混合模型,然后基于分割熵檢測音頻的跳變點,最后結(jié)合視頻中的文本檢測及音頻跳變點實現(xiàn)廣告單元邊界的檢測。實驗證實算法具有一定的檢測率。
　　 ⑶以足球視頻為研究對象,分別從圖像流和音頻流入手,提出了若干個基本語義對象提取的算法。精彩的射門事件發(fā)生在球門附近,球門的檢

5、測有助于射門事件的檢測。結(jié)合球門的圖像特征,提出了基于Top-Hat變換和支持向量機(jī)的球門檢測算法。實驗證實算法具有較高的查全率和查準(zhǔn)率,并對圖像模糊的視頻具有很強(qiáng)的魯棒性?；胤诺穆R頭對精彩事件具有定位語義作用。結(jié)合慢鏡頭回放前后的徽標(biāo)鏡頭的特征,提出了一種基于徽標(biāo)和規(guī)則的慢鏡頭回放檢測算法。實驗證實該算法不僅具有較高的查全率和查準(zhǔn)率,而且所需的時間代價也較小。與圖像特征相比,音頻特征同樣具有豐富的語義作用。在對隱馬爾可夫模型進(jìn)行系統(tǒng)