基于大規(guī)模網絡視頻的事件挖掘研究.pdf

1、隨著互聯(lián)網技術的迅猛發(fā)展和計算機的普及，普通用戶越來越容易從谷歌、百度、YouTube和優(yōu)酷等視頻分享網站上獲得大量正在發(fā)生的事件的網絡視頻。另外，CCTV、BBC和CNN等大量新聞媒體也越來越多的將大量網絡視頻放到他們的網站。這對普通用戶能否快速從搜索引擎返回的海量網絡視頻中，掌握主要事件是一個挑戰(zhàn)。網絡視頻事件挖掘是一個非常有意義的研究課題。主要事件挖掘可以方便普通用戶快速了解整個話題，并建立事件間的關系，從而了解整個話題的來龍去脈

2、。如果對某一個事件比較感興趣的話，還可以進一步了解。
　　當普通用戶檢索某話題時，如果他們了解該話題的主要事件，可以方便他們了解事件間的關系。然而，普通用戶只有觀看搜索引擎返回的海量視頻后，通過自己總結才能了解主要事件。這需要耗費大量時間，而且難以完成，普通用戶也沒有足夠耐心，尤其是對于完全陌生的話題。因此，通過主要事件挖掘改善用戶搜索體驗是一個緊迫的任務。本文分別研究了網絡視頻的文本與視覺的突發(fā)性特征，并通過它們間的關系進行了相

3、關融合方案的探索，主要內容包括以下三個方面:
　　首先，研究了基于共同發(fā)生與多重對應分析的網絡視頻事件挖掘。針對網絡視頻中文本信息具有信息量少、噪聲多以及信息不完整等特性。同時，結合視覺信息的特點，即重要的鏡頭經常被插入到相關視頻中用來提醒或支持其觀點，具有舉足輕重的作用。此外，視覺信息不僅包含有豐富的信息，而且相對不容易被修改，因此視覺特征相對于文本描述更加精確，故其具有更明顯的優(yōu)勢。新提出的網絡視頻事件挖掘方法，通過文本與視覺

4、信息的融合進行網絡視頻的事件挖掘。通過共同發(fā)生挖掘視覺近似關鍵幀之間的視覺相關性，并將統(tǒng)計領域中的多重對應分析應用到多媒體檢索領域，探索網絡視頻中出現(xiàn)的標題/標簽等文本信息在視覺近似關鍵幀中的分布特性，從而利用文本信息的分布特性計算視覺近似關鍵幀與事件問的相關度。大量實驗結果表明，基于視覺內容相關性與多重對應分析的網絡視頻事件挖掘，在相同條件下事件挖掘效果更佳。
　　其次，研究了基于視覺特征軌跡與文本分布特征的網絡視頻事件挖掘。視

5、覺近似關鍵幀的共同發(fā)生只能挖掘視覺內容相關的視頻，而同一事件往往具有多種視覺表達形式，從而容易丟失與事件主題相關，視覺內容不同的視頻。因此，利用視覺特征軌跡的時間分布特性，通過共同發(fā)生增加視覺特征軌跡的魯棒性，以減少視頻編輯的影響，提出了基于視覺內容的特征軌跡。與此同時，針對文本信息噪聲較多，易造成文本分布特征不穩(wěn)定的問題，提出了利用視覺近似關鍵幀間的視覺內容的相關性來挖掘文本信息的語義相關性，從而增強文本信息的魯棒性。并根據(jù)文本與視覺

6、信息間的相關性，提出了一種概率模型從理論上探索文本與視覺信息融合的問題，從而更好的實現(xiàn)兩者優(yōu)勢的互補。通過海量數(shù)據(jù)集上的大量實驗，證明基于內容的視覺特征軌跡與文本分布特征的網絡視頻事件挖掘方案，能夠有效的改善基于視覺近似關鍵幀的內容單一問題，并能在一定程度上提高文本信息的魯棒性，而文本與視覺信息的融合方案進一步彌補了文本與視覺信息各自的缺陷，達到了優(yōu)勢互補的目的。
　　最后，研究了基于動態(tài)關聯(lián)規(guī)則與視覺近似片段的網絡視頻事件挖掘。

7、通過深入分析研究視覺近似關鍵幀的特性及其存在的問題，為了減少視頻編輯對視覺近似關鍵幀檢測的影響，提出了視覺近似片段這一全新的概念。主要利用視頻中時間與空間信息以減少圖片中文字等信息的影響，并探索了視覺近似片段間的關聯(lián)規(guī)則，以及文本信息在視覺近似片段中的分布特性。同時，為了進一步增強嘈雜的文本在視覺近似片段中的分布特性，提出用動態(tài)關聯(lián)規(guī)則算法將語義相關的單詞聚集在一起，從而用語義相關的單詞集來代替原來的單個單詞，以達到增強文本信息魯棒性的