事務(wù)數(shù)據(jù)流處理的若干關(guān)鍵技術(shù)問(wèn)題研究.pdf

1、面對(duì)數(shù)據(jù)的激烈增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)已成為分析管道的瓶頸，傳統(tǒng)的先存貯再查詢的數(shù)據(jù)管理和結(jié)構(gòu)難以解決數(shù)據(jù)倉(cāng)庫(kù)的實(shí)時(shí)響應(yīng)要求。數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理在處理快速、大量數(shù)據(jù)時(shí)都采用了不保存數(shù)據(jù)直接在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行處理的方法，提高數(shù)據(jù)處理的實(shí)時(shí)性，同時(shí)也減少了對(duì)計(jì)算資源的占用。但數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理在處理關(guān)系型數(shù)據(jù)流時(shí)都是直接將其轉(zhuǎn)化為沉表，忽略了數(shù)據(jù)的事務(wù)特性;對(duì)多數(shù)據(jù)流的連接查詢采用基于時(shí)間或者基于元組的連接查詢語(yǔ)義，沒(méi)有

2、考慮關(guān)系型數(shù)據(jù)流各種復(fù)雜的窗口連接語(yǔ)義和多數(shù)據(jù)流的同步問(wèn)題;在處理數(shù)據(jù)流與磁盤(pán)存貯表的連接查詢時(shí)直接將磁盤(pán)存貯表轉(zhuǎn)化為流表的形式，沒(méi)有考慮兩者之間連接語(yǔ)義和內(nèi)存開(kāi)銷。關(guān)系型數(shù)據(jù)庫(kù)作為一類重要數(shù)據(jù)來(lái)源，在數(shù)據(jù)流和復(fù)雜事件處理中增強(qiáng)對(duì)事務(wù)數(shù)據(jù)流的處理是很有必要的。
　　 本文主要針對(duì)數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理中的關(guān)系型數(shù)據(jù)流處理進(jìn)行了擴(kuò)展，使得數(shù)據(jù)能夠?qū)崟r(shí)快速處理的同時(shí)也保持其事務(wù)特性。主要的研究工作如下:
　　 (1)提

3、出了事務(wù)數(shù)據(jù)流的單調(diào)性理論，該理論使得事務(wù)數(shù)據(jù)流的單調(diào)查詢輸出在處理相同時(shí)間戳的元組時(shí)與元組順序無(wú)關(guān)，保證了事務(wù)數(shù)據(jù)流查詢計(jì)算的ACID性質(zhì)。為實(shí)現(xiàn)事務(wù)數(shù)據(jù)流的單調(diào)查詢，本文提出了延遲計(jì)算策略和基于主存數(shù)據(jù)庫(kù)的查詢執(zhí)行。實(shí)驗(yàn)說(shuō)明基于主存數(shù)據(jù)庫(kù)的查詢執(zhí)行有效地解決了窗口的分組驅(qū)動(dòng)及事務(wù)數(shù)據(jù)流的共享計(jì)算，驗(yàn)證了事務(wù)數(shù)據(jù)流的單調(diào)性理論。
　　 (2)針對(duì)多事務(wù)數(shù)據(jù)流的連接計(jì)算問(wèn)題，提出了滑動(dòng)窗口標(biāo)識(shí)匹配的連接語(yǔ)義模型。數(shù)據(jù)流的基本連接

4、語(yǔ)義模型會(huì)導(dǎo)致內(nèi)存溢出，而基于時(shí)間和基于元組的滑動(dòng)窗口連接模型無(wú)法處理各種不同類型窗口之間的連接查詢。本文通過(guò)滑動(dòng)窗口標(biāo)識(shí)屏蔽各種滑動(dòng)窗口間的差異，在各種不同的滑動(dòng)窗口之間進(jìn)行連接查詢。為實(shí)現(xiàn)滑動(dòng)窗口標(biāo)識(shí)匹配，本文提出了滑動(dòng)窗口的子窗口存儲(chǔ)結(jié)構(gòu)及該存儲(chǔ)結(jié)構(gòu)下的窗口維護(hù)和連接計(jì)算算法，并通過(guò)優(yōu)化子窗口存儲(chǔ)結(jié)構(gòu)來(lái)提高連接計(jì)算速率。實(shí)驗(yàn)驗(yàn)證了該語(yǔ)義模型可屏蔽各種滑動(dòng)窗口間的差異，解決多事務(wù)數(shù)據(jù)流的同步和連接計(jì)算問(wèn)題。
　　 (3)對(duì)數(shù)

5、據(jù)流和磁盤(pán)存貯表的連接計(jì)算算法進(jìn)行了改進(jìn)。通過(guò)對(duì)經(jīng)典算法MESHJOIN算法的分析，發(fā)現(xiàn)MESH JOIN算法每次連接計(jì)算后都替換存貯表放在內(nèi)存中的整個(gè)數(shù)據(jù)塊，因此產(chǎn)生大量的磁盤(pán)I/O。為減少磁盤(pán)I/O，本文提出將存貯表在內(nèi)存中的數(shù)據(jù)塊劃分為若干邏輯分區(qū)，每次連接計(jì)算后僅替換其中的一個(gè)邏輯分區(qū)。實(shí)驗(yàn)證明改進(jìn)算法降低了每個(gè)滑動(dòng)窗口計(jì)算時(shí)的I/O代價(jià)，提高了每個(gè)滑動(dòng)窗口的計(jì)算速率。
　　 (4)對(duì)事務(wù)數(shù)據(jù)流與多個(gè)存貯表的連接計(jì)算，提

6、出將多個(gè)存貯表之間的查詢定義為實(shí)化視圖后再與事務(wù)數(shù)據(jù)流進(jìn)行連接計(jì)算。本文對(duì)實(shí)化視圖的增量維護(hù)算法進(jìn)行了改進(jìn)。對(duì)實(shí)化外連接視圖的增量計(jì)算提出了基于連接析取范式的輔助增量計(jì)算算法，實(shí)驗(yàn)證明該算法保證了增量計(jì)算的正確性也克服了外連接視圖定義的約束條件。對(duì)實(shí)化連接視圖的增量計(jì)算提出了數(shù)據(jù)源上的延遲補(bǔ)償算法，實(shí)驗(yàn)證明該算法避免了全局時(shí)間戳和系統(tǒng)靜止時(shí)刻的補(bǔ)償要求。
　　 數(shù)據(jù)流持續(xù)查詢和復(fù)雜事件處理已廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算等環(huán)境。本文的