基于元數據控制的ETL方法研究與軟件開發(fā).pdf

1、隨著信息化進程的不斷推進，大部分企業(yè)已經把數據倉庫作為企業(yè)數據集成的主流技術，為企業(yè)提供綜合的真實的數據視圖。而數據的抽取、轉換、加載（Extraction、Transformation、Loading，ETL）是數據倉庫技術應用的重要的組成部分之一，直接影響企業(yè)數據集成的質量。由于企業(yè)數據具有多源、海量和異構等特征，ETL的效率和能否支持異構數據訪問和集成是ETL過程中要解決的關鍵問題。
　　針對ETL的上述問題，本文采用元數據

2、理論和方法，提出了一種基于元數據控制的ETL方法，并開發(fā)了ETL軟件工具。具體研究成果如下：
　　（1）針對ETL的實際需求，結合國內外ETL方法和工具的研究成果，采用元數據方法和數據逆追蹤方式，提出了一種基于元數據控制的ETL方法，設計了ETL控制元數據結構和ETL流程。經理論分析和實驗驗證，該方法提高了數據提取精度,減少了數據的重復計算，進而提高了ETL執(zhí)行效率。
　?。?）基于上述方法，設計了ETL軟件的總體架構，主要

3、包括元數據模塊、數據中轉區(qū)、數據抽取引擎、數據轉換引擎、數據加載引擎以及通用數據訪問接口等幾部分，詳細描述架構中各個模塊的作用。
　?。?）利用異構數據統(tǒng)一操作平臺，設計了數據訪問接口模塊，解決了異構數據源的訪問問題；采用元數據統(tǒng)一集成操作，設計了元數據管理模塊，解決了ETL控制元數據集成管理問題。
　　（4）實現了ETL軟件異構數據源訪問及函數運算兩個核心模塊，給出了具體的實現方案。
　　本文提出的ETL方法，開發(fā)的