odi技術(shù)白皮書(shū)

1、acleDataIntegrat技術(shù)白皮書(shū)第1頁(yè)acleDataIntegrat技術(shù)白皮書(shū)1介紹22ELT體系結(jié)構(gòu)32.1傳統(tǒng)的ETL32.2ELT43聲明設(shè)計(jì)（DECLARATIVEDESIGN）63.1傳統(tǒng)的ETL設(shè)計(jì)63.2聲明設(shè)計(jì)（DeclarativeDesign）64知識(shí)模塊（KNOWLEDGEMODULES）94.1知識(shí)模塊的類型94.2設(shè)計(jì)階段和運(yùn)行階段的知識(shí)模塊94.3靈活性和可擴(kuò)展性105面向事件的集成115.1面向

2、消息的集成115.2變化數(shù)據(jù)捕獲115.3發(fā)布和訂閱模型125.4處理變化數(shù)據(jù)集的一致性126支持SOA框架146.1數(shù)據(jù)和轉(zhuǎn)換服務(wù)146.2WebServices訪問(wèn)157數(shù)據(jù)完整性167.1為數(shù)據(jù)完整性聲明規(guī)則167.2在集成過(guò)程中的數(shù)據(jù)完整性防火墻177.3強(qiáng)制規(guī)則177.4使用第三方姓名及地址清洗工具188體系結(jié)構(gòu)198.1用戶界面198.2代理208.3存儲(chǔ)庫(kù)208.4元數(shù)據(jù)導(dǎo)航器輕量級(jí)設(shè)計(jì)器219方案（SCENARIOS）2

3、29.1數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能229.2面向服務(wù)的集成239.3主數(shù)據(jù)管理2410結(jié)論25acleDataIntegrat技術(shù)白皮書(shū)第3頁(yè)2ELT體系結(jié)構(gòu)體系結(jié)構(gòu)2.1傳統(tǒng)的傳統(tǒng)的ETL傳統(tǒng)的ETL工具的運(yùn)行方式是，首先從多種數(shù)據(jù)源抽取數(shù)據(jù)，然后在一個(gè)專有的、中間層的ETL引擎轉(zhuǎn)換數(shù)據(jù)，最后裝載轉(zhuǎn)換后的數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)或集成服務(wù)器中。因此“ETL”不僅僅是個(gè)名稱還表現(xiàn)了操作的順序。迄今為止，ETL過(guò)程的數(shù)據(jù)轉(zhuǎn)換是計(jì)算密集型最大的步驟，并且執(zhí)行

4、的整個(gè)過(guò)程完全是由專有ETL引擎在專用服務(wù)器上完成的。ETL引擎執(zhí)行數(shù)據(jù)轉(zhuǎn)換（有些時(shí)候還要進(jìn)行數(shù)據(jù)質(zhì)量檢查）是基于行級(jí)進(jìn)行的，因此，在整個(gè)過(guò)程中很容易變成瓶頸。另外，數(shù)據(jù)一定要在網(wǎng)絡(luò)移動(dòng)兩次，一次是數(shù)據(jù)源和ETL服務(wù)器之間，一次是ETL服務(wù)器和目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)之間。因此，如果用戶想要確保參照完整性，例如通過(guò)從數(shù)據(jù)倉(cāng)庫(kù)比較數(shù)據(jù)發(fā)現(xiàn)違反參照完整性的值，那被參照的數(shù)據(jù)一定要從目標(biāo)下載到ETL服務(wù)器，這樣就更增加了網(wǎng)絡(luò)負(fù)載及下載時(shí)間并導(dǎo)致額外的性能

5、問(wèn)題。例如，讓我們看一下傳統(tǒng)的ETL任務(wù)如何從目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)尋找記錄去匹配數(shù)據(jù)源的數(shù)據(jù)。為了執(zhí)行這樣一個(gè)任務(wù)，一個(gè)傳統(tǒng)的ETL工具可能會(huì)使用下列三個(gè)方法之一：?裝載Lookup表到內(nèi)存：整個(gè)lookup表被從目標(biāo)服務(wù)器上檢索并被裝載到ETL引擎的內(nèi)存中。在作為結(jié)果的被轉(zhuǎn)換的數(shù)據(jù)寫回目標(biāo)服務(wù)器之前，用源數(shù)據(jù)記錄匹配（或連接）這個(gè)lookup數(shù)據(jù)是在內(nèi)存中完成的。如果lookup表是相當(dāng)大的，那么這個(gè)操作將需要在ETL引擎中耗費(fèi)大量的內(nèi)存和長(zhǎng)

6、時(shí)間的數(shù)據(jù)裝載，以及重建索引。?即時(shí)執(zhí)行，逐行查找：對(duì)于每一行，ETL引擎都要送一個(gè)查詢到位于目標(biāo)服務(wù)器上的lookup表。查詢的結(jié)果將返回一行已匹配（或已連接）當(dāng)前行的記錄。如果lookup表包含50萬(wàn)行記錄，ETL引擎將送50萬(wàn)個(gè)查詢。這種處理方式將極大地減慢數(shù)據(jù)集成的進(jìn)度并給目標(biāo)服務(wù)器帶來(lái)嚴(yán)重的負(fù)載。?在ETL任務(wù)中使用手工編碼：這種方式使用ETL引擎僅僅是為了裝載數(shù)據(jù)源到目標(biāo)數(shù)據(jù)庫(kù)，然后手工編寫SQL代碼將這些數(shù)據(jù)與lookup