基于ETL的數(shù)據(jù)管理方法的分析和實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展以及人們獲取數(shù)據(jù)手段的多樣化，各種數(shù)據(jù)資源日益豐富數(shù)據(jù)量急劇增加，大學(xué)作為社會(huì)大家庭的一個(gè)重要成員，信息化和網(wǎng)絡(luò)化程度也隨之發(fā)生了巨大變化，許多部門在不同程度上依靠計(jì)算機(jī)軟件來輔助完成工作，通過使用這些軟件提高了業(yè)務(wù)處理能力和辦公效率。 但是日益增多的、不同種類的信息數(shù)據(jù)也給數(shù)據(jù)庫(kù)管理帶來了很多的問題，主要表現(xiàn)在數(shù)據(jù)清洗和數(shù)據(jù)復(fù)制兩大方面，比如怎么樣糾正數(shù)據(jù)錯(cuò)誤、避免錯(cuò)誤決策、降低決策風(fēng)險(xiǎn)?怎

2、么樣能夠使各部門之間的信息既能靈活交流和共享，又能統(tǒng)一管理和使用?目前主要的方法是對(duì)這些數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)的同步復(fù)制。通過清洗使我們得到的元數(shù)據(jù)是可信的、安全的、一致的，然后把這些清洗后的數(shù)據(jù)通過數(shù)據(jù)同步復(fù)制工具灌入公共數(shù)據(jù)庫(kù)中去，從而使學(xué)校的各個(gè)部門能夠共享數(shù)據(jù)資源。 本文介紹了基于ETL(Extract，Transfer，Load)的數(shù)據(jù)清洗和數(shù)據(jù)復(fù)制的原理，并在實(shí)際工作中加以應(yīng)用，主要工作如下： (1)介紹現(xiàn)階

3、段國(guó)內(nèi)外數(shù)據(jù)復(fù)制和數(shù)據(jù)清洗的主要技術(shù)及其應(yīng)用； (2)指出大學(xué)各個(gè)部門之間的數(shù)據(jù)源、數(shù)據(jù)質(zhì)量和數(shù)據(jù)的一致性方面存在的問題； (3)分析數(shù)據(jù)存在的質(zhì)量問題并設(shè)計(jì)清洗策略和復(fù)制策略； (4)闡述如何運(yùn)用數(shù)據(jù)清洗和同步復(fù)制工具Oracle Data Integrator(簡(jiǎn)稱ODI)把來自各個(gè)不同數(shù)據(jù)源的數(shù)據(jù)抽取出來，按照預(yù)定的規(guī)則清洗，然后轉(zhuǎn)移，復(fù)制加載到目標(biāo)數(shù)據(jù)庫(kù)(即公共數(shù)據(jù)庫(kù))中去，以達(dá)到數(shù)據(jù)資源共享的目的。