電信經營分析系統(tǒng)中數(shù)據(jù)質量控制子系統(tǒng)的設計與實現(xiàn).pdf

1、電信經營分析系統(tǒng)利用電信業(yè)務過程中產生的大量數(shù)據(jù)，對其進行挖掘和分析，為電信運營商的決策和內部規(guī)范管理提供充分的依據(jù)。在系統(tǒng)運作的過程中，數(shù)據(jù)質量問題直接影響分析結果，因此對電信經營分析系統(tǒng)的數(shù)據(jù)質量進行控制，具有重要的實用價值。 系統(tǒng)初期的數(shù)據(jù)源采集處理只有一個轉發(fā)功能，數(shù)據(jù)源前端機接收來自各電信生產系統(tǒng)提供的文本文件數(shù)據(jù)，然后轉發(fā)到系統(tǒng)的數(shù)據(jù)源后端機，在這過程中人工進行粗略的格式檢查，再提供給ETL服務器處理。隨著系統(tǒng)的不斷

2、擴大，數(shù)據(jù)源變得越來越多，并且數(shù)據(jù)源格式也呈現(xiàn)多樣復雜化，初期的處理策略已經跟不上系統(tǒng)的發(fā)展，給系統(tǒng)的運作造成了很大的壓力。在系統(tǒng)運作過程和數(shù)據(jù)應用時出現(xiàn)的數(shù)據(jù)質量問題難于定位，需要花費大量的人力去查找出錯或異常的原因，嚴重影響到數(shù)據(jù)的處理效率；此外還會降低用戶對系統(tǒng)使用的信心和熱情。 本文根據(jù)各業(yè)務的數(shù)據(jù)源格式、業(yè)務特征和上傳規(guī)律，結合實際運作的經驗，設計了一個高效的采集模塊，來完成數(shù)據(jù)源的采集、檢查和監(jiān)控。為了提高采集處理的

3、效率，在采集處理流程上進行模塊細分，每個模塊完成特定的功能，然后采用流水線型并發(fā)式處理模式，充分利用系統(tǒng)的資源。將規(guī)則引擎嵌入到復雜繁瑣的文件檢查處理中，通過配置相應業(yè)務的檢查規(guī)則，完成對數(shù)據(jù)源的數(shù)據(jù)質量檢查及控制，從文件、記錄及字段三個級別對文件進行掃描，方便和減輕了數(shù)據(jù)質量檢查的工作。通過高效的采集程序，及時地發(fā)現(xiàn)和協(xié)助解決問題，縮短了整個電信經營分析系統(tǒng)的數(shù)據(jù)處理時間。 數(shù)據(jù)質量子系統(tǒng)的實施，提高了系統(tǒng)運作的效率，有利于進