ETL關鍵技術研究.pdf

1、構建數(shù)據(jù)倉庫和數(shù)據(jù)集成應用都需要使用ETL工具，要求ETL工具能支持多種數(shù)據(jù)轉換源和目標、軟件易于部署和使用以及轉換手段多樣化。市場上現(xiàn)有的ETL工具都不能完全滿足數(shù)據(jù)倉庫和數(shù)據(jù)集成要求。 本文結合對自行研制的ETL工具——SEUETL的改進和技術預研，研究了ETL工具實現(xiàn)的關鍵技術。針對SEUETL工具的不足，我們使用了CWM來描述ETL過程。構建了統(tǒng)一數(shù)據(jù)模型描述物理數(shù)據(jù)源對應的數(shù)據(jù)存儲模型，屏蔽不同數(shù)據(jù)模型中描述的差異；構

2、建了轉換元模型來描述ETL轉換的邏輯過程，屏蔽ETL轉換具體實現(xiàn)的差異；構建了運行調度元模型，描述ETL過程的運行實現(xiàn)，屏蔽不同軟件部署方式的差異。在元數(shù)據(jù)管理中，引入了動態(tài)屬性概念，提高了ETL過程設計的靈活性和設計效率，較好的解決了遺留系統(tǒng)的業(yè)務數(shù)據(jù)處理。在ETL轉換中引入了腳本轉換，并對SQL進行了擴展以適合ETL的需要，實現(xiàn)了對UDF的支持，增加了可使用的轉換手段。實現(xiàn)了和數(shù)據(jù)轉換相融合的數(shù)據(jù)清洗框架，定義的數(shù)據(jù)清洗規(guī)則可以自動