數(shù)據(jù)清洗解決方案及其元數(shù)據(jù)管理.pdf

1、本文針對Intel的DSS工具Cockpit目前存在少量數(shù)據(jù)特別是產(chǎn)品定義數(shù)據(jù)不完全干凈，就數(shù)據(jù)清洗的技術關鍵，從元數(shù)據(jù)管理和在該元數(shù)據(jù)模型基礎上的開發(fā)實踐兩個方面，提出了基于元數(shù)據(jù)管理的數(shù)據(jù)清洗解決方案。基元數(shù)據(jù)管理的設計思想包括：元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù), 它描述了數(shù)據(jù)的內(nèi)容, 質量、情況和其他特性。在本文的元數(shù)據(jù)模型中，把知識元數(shù)據(jù)分為邏輯和信息兩大類。邏輯是一種規(guī)則，是加工信息的具體方法，由設計人員進行具體設計和實現(xiàn)。信息是對現(xiàn)實世

2、界中具體事物的抽象反映，可以由程序自動更新。具體Cockpit數(shù)據(jù)清洗過程的實現(xiàn)采用了上述基于元數(shù)據(jù)管理的模型，包括對Cockpit數(shù)據(jù)清洗過程中的業(yè)務邏輯進行分析，設計Cockpit的數(shù)據(jù)清洗流程，實現(xiàn)數(shù)據(jù)清洗算法。該流程和算法實現(xiàn)了異常數(shù)據(jù)的判斷規(guī)則，自動對數(shù)據(jù)進行檢驗，對異常數(shù)據(jù)進行分類，用簡單的數(shù)據(jù)挖掘算法實現(xiàn)對數(shù)據(jù)字典自動更新，并以Email形式自動通知相關人員，最終達到增強數(shù)據(jù)清洗能力，提供更準確的數(shù)據(jù)并簡化維護工作量的目