海量視頻的分布式協(xié)作處理與檢索研究.pdf

1、隨著視頻分享網(wǎng)站的迅猛發(fā)展，視頻的數(shù)量在近些年急劇地增加。如何有效地對(duì)海量視頻進(jìn)行處理與檢索已經(jīng)成為多媒體應(yīng)用領(lǐng)域中亟待研究和解決的問(wèn)題。
　　 海量視頻的分布式協(xié)作處理與檢索中存在的主要問(wèn)題包括:
　　 (1)多媒體內(nèi)容處理中的計(jì)算任務(wù)與計(jì)算資源的協(xié)同調(diào)度問(wèn)題，即對(duì)任務(wù)的資源需求進(jìn)行預(yù)測(cè)并匹配合適的計(jì)算資源;
　　 (2)海量相似視頻的快速檢索問(wèn)題;
　　 (3)海量視頻的快速拷貝檢測(cè)問(wèn)題。
　　

2、 針對(duì)上述問(wèn)題，本論文的主要研究工作和創(chuàng)新點(diǎn)如下:
　　 1.提出了一種面向多媒體內(nèi)容處理的分布式計(jì)算中間件
　　 針對(duì)多媒體內(nèi)容處理中的計(jì)算任務(wù)與計(jì)算資源的協(xié)同調(diào)度問(wèn)題，設(shè)計(jì)與實(shí)現(xiàn)了一種面向多媒體內(nèi)容處理的分布式計(jì)算中間件。該中間件自動(dòng)的管理計(jì)算資源與計(jì)算任務(wù)，通過(guò)基于極限學(xué)習(xí)機(jī)的執(zhí)行時(shí)間估計(jì)算法優(yōu)化系統(tǒng)的性能。該中間件可以作為一個(gè)標(biāo)準(zhǔn)的組件應(yīng)用于多種多媒體內(nèi)容制作業(yè)務(wù)，通過(guò)復(fù)用該中間件，可以有效地簡(jiǎn)化分布式環(huán)境下實(shí)

3、現(xiàn)多媒體內(nèi)容處理的難度。該中間件已經(jīng)被應(yīng)用于一個(gè)多媒體內(nèi)容處理平臺(tái)，針對(duì)渲染、轉(zhuǎn)碼和特效合成這3種任務(wù)的實(shí)驗(yàn)結(jié)果表明提出的基于極限學(xué)習(xí)機(jī)的時(shí)間估計(jì)算法相對(duì)于隨機(jī)負(fù)載均衡算法最大完成時(shí)間減少26％以上。
　　 2.提出了一種基于分布式LSH的海量視頻快速檢索方法
　　 針對(duì)海量相似視頻的快速檢索問(wèn)題，提出一種基于分布式LSH的海量視頻快速檢索方法。該方法采用基于內(nèi)存約束的分布式哈希結(jié)構(gòu)，稱(chēng)為MD-LSH，有效地解決了快速與

4、可擴(kuò)展性問(wèn)題。本方法首先從視頻序列中提取出特征向量集合，然后使用MD-LSH對(duì)高維特征向量建立索引，根據(jù)返回的相似幀集合對(duì)相關(guān)的視頻進(jìn)行相似度計(jì)算，最后排序得到相似視頻的查詢(xún)結(jié)果。該方法支持在分布式多節(jié)點(diǎn)環(huán)境下對(duì)海量視頻進(jìn)行快速檢索，實(shí)驗(yàn)結(jié)果表明本文的方法查詢(xún)時(shí)間比現(xiàn)有對(duì)比方法快4倍以上，同時(shí)采用分布式的架構(gòu)，具有可擴(kuò)展性。
　　 3.提出了一種快速有效的海量視頻拷貝檢測(cè)方法
　　 針對(duì)海量視頻的拷貝檢測(cè)問(wèn)題，提出了一種

5、基于SimHash的快速有效的視頻拷貝檢測(cè)方法。該方法首先將視頻表示為基于離散余弦變換的時(shí)空特征，然后基于SimHash建立魯棒的壓縮簽名，通過(guò)在多張簽名表中進(jìn)行高效的漢明距離檢索完成視頻拷貝檢測(cè)。該方法支持在分布式多節(jié)點(diǎn)環(huán)境下對(duì)海量視頻進(jìn)行快速拷貝檢測(cè)，針對(duì)包含10335個(gè)視頻，大小為272.48GB的數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明本文的方法F值達(dá)到0.952，平均檢索時(shí)間比現(xiàn)有對(duì)比方法快15.2倍以上。
　　 上述研究成果(1)已應(yīng)用