結(jié)合視覺顯著性的三維視頻增強(qiáng)和視頻重定位技術(shù)研究.pdf

1、3D(Three Dimensional)視頻帶給人們更加真實(shí)的立體感受，但是由于技術(shù)還未成熟，存在許多問題。為了使3D視頻技術(shù)更加完善，本文從三維視頻增強(qiáng)和視頻重定位兩個方面進(jìn)行研究。通過三維視頻增強(qiáng)技術(shù)提升由繪制得到的3D視頻的質(zhì)量，利用三維視頻重定位技術(shù)使得3D視頻能夠適應(yīng)不同尺寸的顯示器，其中視頻重定位技術(shù)需要對視頻中重要區(qū)域進(jìn)行保護(hù)以免造成視覺失真。所以本文首先對視覺注意力進(jìn)行研究，提出了兩種視頻顯著性檢測模型，用于檢測視頻中

2、重要的區(qū)域，然后針對三維視頻增強(qiáng)和視頻重定位技術(shù)分別提出了可行的方法，詳細(xì)的研究內(nèi)容包括以下三個方面：
　　(1)針對視覺注意力建模，本文提出了兩種2D視頻顯著性檢測模型。第一種模型通過對視頻進(jìn)行空間分解后獲得三個平面的切片，分別為 X-T切片，Y-T切片和X-Y切片，然后利用稀疏矩陣的低階分解分別從 X-T切片和Y-T切片中獲取時域顯著圖，從 X-Y切片中獲得空域顯著圖，最后將兩個顯著圖結(jié)合獲得最終的顯著圖。第二種模型主要是通過

3、從視頻流中獲取的DCT系數(shù)和運(yùn)動矢量，分別用來求取紋理顯著圖和運(yùn)動顯著圖，然后通過求取背景的復(fù)雜度來調(diào)整紋理顯著圖，運(yùn)動顯著圖通過與幀差圖結(jié)合進(jìn)行優(yōu)化，最后本文通過顯著性的不確定性來決定兩種顯著圖的結(jié)合權(quán)重。
　　(2)關(guān)于三維視頻增強(qiáng)方面的研究，本文提出了兩種視頻增強(qiáng)的方法，其中針對深度圖像的繪制(Depth Image Based Rendering，DIBR)技術(shù),本文提出了一種面向虛擬視點(diǎn)繪制的深度圖像后處理方法，在本方法

4、中，首先利用基于置信區(qū)間的交點(diǎn)規(guī)則確定深度圖像中每個像素點(diǎn)的濾波窗口，然后利用最小均方逼近多項(xiàng)式技術(shù)估計每個像素點(diǎn)的深度值，再利用加權(quán)模式濾波器對估計的深度圖像進(jìn)行濾波處理，得到深度濾波圖像。針對由深度視頻采集系統(tǒng)獲得的低分辨率的深度視頻，本文提出一種基于彩色和深度聯(lián)合稀疏分析模型的深度圖重建方法，該方法主要是通過訓(xùn)練的方法構(gòu)建彩色和深度聯(lián)合稀疏分析模型，然后利用該模型對低分辨率深度圖進(jìn)行重建，從而獲得高分辨率的深度圖。實(shí)驗(yàn)結(jié)果顯示，本

5、文方法能夠精確地恢復(fù)出真實(shí)深度信息，提高虛擬視點(diǎn)圖像的繪制性能。
　　(3)關(guān)于三維視頻的重定位技術(shù)的研究，本文提出了一種基于內(nèi)容的三維視頻重定位方法。該方法通過加入深度信息的顯著圖提取出三維視頻中的重要內(nèi)容并進(jìn)行保護(hù)，再結(jié)合視頻時域相關(guān)性和空域相關(guān)性，使得重定位后的視頻能夠保持時域和空域的連續(xù)性。將上述三種視頻特性結(jié)合起來換算成總能量圖，可以發(fā)現(xiàn)能量越小區(qū)域?qū)τ谝曨l內(nèi)容越不重要，所以可以將能量最小區(qū)域作為縫的選擇從視頻中去除，最