基于語義事件的手術視頻內容分析和分割方法的研究.pdf

1、隨著計算機技術和網絡技術的不斷發(fā)展，各種新的媒體信息交換和應用形式已經完全融入了人們的日常工作、生活和娛樂之中，每天都在產生大量的視頻數據。在醫(yī)學領域同樣也存在大量的視頻用于輔助教育、術前宣教、遠程醫(yī)療等。為了對蘊含了人物、場景、對象、行為和故事等豐富的語義信息的媒體數據進行高效快捷過濾、瀏覽和檢索、非線性編輯等，人們提出并發(fā)展了視頻的內容分析和基于內容的視頻檢索技術，以實現語義級的內容描述與應用。讓計算機按照人的主觀感覺和理解來表示媒

2、體內容。如何跨越底層特征和高層語義間的語義鴻溝，以語義概念來管理、訪問視頻數據庫，已成為多媒體領域頗具挑戰(zhàn)的研究課題。
　　在視頻的內容分析過程中，特征的提取與描述是至關重要的一步。手術視頻有其獨有的特點，比如手術室中醫(yī)務人員的著裝顏色基本為墨綠色，手術室中的病人除了需要手術的部分，基本用手術布遮蓋，有無影燈在手術過程為開的狀態(tài)。根據這些特點，為了給手術事件建模，本文定義了醫(yī)務人員指示器、手術部位檢測器、無影燈開關指示器等視覺特征

3、。
　　隱馬爾可夫模型作為一種統計分析模型，盡管它的狀態(tài)不能直接觀測到，但能通過觀測向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現為各種狀態(tài)，每一個觀測向量是由一個具有相應概率密度分布的狀態(tài)序列產生。因此非常適合引入到基于語義的視頻內容分析領域。在本文就通過將隱馬爾可夫引入到基于語義的手術視頻領域內容分析領域?；陔[馬爾可夫模型進行基于語義事件的視頻分析，不但考慮了事件特征之間的相似性，而且考慮語義事件之間的時序關系，為

4、提高視頻內容分析的準確率提供了理論上的可能。
　　本文的實驗基于五個完整的手術視頻樣本，弗且已經人工標注過。通過樣本重估了各個手術事件在各個特征的概率分布，并且通過Baum-Welch算法重估了狀態(tài)轉移矩陣，重估了一個隱馬爾可夫模型。整個實驗過程采用交叉留一驗證的策略，對每一個待測試樣本采用Viterbi算法來識別每個以秒為單位的視頻單元，最終產生一個混淆矩陣來呈現分析的結果。
　　目前的實驗結果表明，對于選定的語義特征，有