商業(yè)銀行海量歷史數(shù)據(jù)集成存儲(chǔ)與訪問(wèn)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、商業(yè)銀行海量歷史數(shù)據(jù)集成存儲(chǔ)與訪問(wèn)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 目錄目 錄摘要????????????????????．．1A B S T R A C ，r ??????????????????．．?．2第一章緒論??????????????????．41 ．1 論文選題背景?????????????????．41 ．1 ．1 發(fā)展現(xiàn)狀及存在問(wèn)題?????????????．41 ．1 ．2 系統(tǒng)建立的意義??????????????．．51 ．2

2、 本文的主要內(nèi)容????????????????．．61 ．3 本文的章節(jié)安排????????????????．．7第二章系統(tǒng)架構(gòu)?????????????????．．92 ．1 系統(tǒng)架構(gòu)??????????????????．．92 ．2 數(shù)據(jù)存儲(chǔ)服務(wù)?????????????????l O2 ．3 數(shù)據(jù)裝載服務(wù)?????????????????1 l2 ．4 數(shù)據(jù)訪問(wèn)服務(wù)?????????????????1 l2 ．4 ．1 透明數(shù)據(jù)

3、訪問(wèn)???????????????1 12 ．4 ．2 數(shù)據(jù)訪問(wèn)權(quán)限控制?????????????．．1 22 ．5 數(shù)據(jù)備份管理?????????????????1 3第三章數(shù)據(jù)存儲(chǔ)服務(wù)設(shè)計(jì)與實(shí)現(xiàn)????????????．．1 43 ．1 設(shè)計(jì)思想??????????????????．1 43 ．2 系統(tǒng)架構(gòu)??????????????????．1 43 ．3 數(shù)據(jù)組織模型?????????????????1 53 ．3 ．1 數(shù)據(jù)組

4、織方案???????????????1 53 ．3 ．2 鏈?zhǔn)皆隽繑?shù)據(jù)組織模型????????????．1 63 ．3 ．3 數(shù)據(jù)存儲(chǔ)模型設(shè)計(jì)?????????????．．1 73 ．3 ．4 數(shù)據(jù)時(shí)效范圍???????????????2 1第四章數(shù)據(jù)裝載服務(wù)設(shè)計(jì)與實(shí)現(xiàn)????????????．．2 34 ．1 設(shè)計(jì)思想??????????????????．2 34 ．2 數(shù)據(jù)裝載流程?????????????????2 34 ．3 元

5、數(shù)據(jù)變化檢測(cè)處理???????????????2 44 ．4 變化數(shù)據(jù)捕獲算法設(shè)計(jì)??????????????．2 64 ．4 ．1 數(shù)據(jù)指紋????????????????．2 6第五章數(shù)據(jù)訪問(wèn)服務(wù)設(shè)計(jì)與實(shí)現(xiàn)????????????．．3 15 ．I 設(shè)計(jì)思想??????????????????．3 1，；．／／，商業(yè)銀行海量歷史數(shù)據(jù)集成存儲(chǔ)與訪問(wèn)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 摘要摘 要面對(duì)中國(guó)金融市場(chǎng)的激烈競(jìng)爭(zhēng)和信息技術(shù)的飛速發(fā)展，商業(yè)銀行的

6、信息化建設(shè)呈現(xiàn)了“數(shù)據(jù)集中化、業(yè)務(wù)綜合化、管理扁平化、決策科學(xué)化”的發(fā)展趨勢(shì)。信息在現(xiàn)代化商業(yè)銀行中與市場(chǎng)、資金、人才并列為最重要的資源之一，占據(jù)著越來(lái)越重要的地位，已經(jīng)成為銀行對(duì)外服務(wù)的基礎(chǔ)，科學(xué)管理的保障，正確決策的前提，有效調(diào)控的手段。能否擁有及時(shí)、準(zhǔn)確、全面的信息已經(jīng)成為衡量一個(gè)商業(yè)銀行是否具有發(fā)展?jié)摿Φ闹匾笜?biāo)。銀行信息管理涉及信息資源的采集、存儲(chǔ)、加工、處理、提供等工作進(jìn)程。這其中，歷史數(shù)據(jù)集成存儲(chǔ)與訪問(wèn)控制系統(tǒng)在其中起著基

7、礎(chǔ)性和決定性的作用。本文首先對(duì)商業(yè)銀行歷史數(shù)據(jù)的存儲(chǔ)與訪問(wèn)現(xiàn)狀進(jìn)行概括，從歷史數(shù)據(jù)如何保存和使用的角度出發(fā)，分析當(dāng)前商業(yè)銀行存在和應(yīng)該解決的問(wèn)題，并探討歷史數(shù)據(jù)集成存儲(chǔ)與訪問(wèn)控制系統(tǒng)建立的目標(biāo)和意義，在此基礎(chǔ)之上研究總體建設(shè)的思路，進(jìn)一步優(yōu)化銀行內(nèi)部數(shù)據(jù)管理關(guān)系和數(shù)據(jù)流圖，并詳細(xì)解釋在系統(tǒng)建設(shè)中需要包含的變化數(shù)據(jù)捕獲、數(shù)據(jù)模型變化跟蹤、歷史數(shù)據(jù)訪問(wèn)服務(wù)和數(shù)據(jù)庫(kù)虛擬備份等部分的詳細(xì)處理過(guò)程。本文主要研究成果有四個(gè)方面：1 ．實(shí)現(xiàn)了一個(gè)基于

8、M D 5 的C D C 變化數(shù)據(jù)捕獲( C h a n g e D a t a C a p t u r e ) 算法，依托C D C 算法生成比較數(shù)據(jù)的指紋，以指紋來(lái)辨別和捕獲變化數(shù)據(jù)，此方式做到了變化數(shù)據(jù)捕獲的業(yè)務(wù)邏輯無(wú)關(guān)性。2 ．基于捕獲的增量變化數(shù)據(jù)，采用鏈?zhǔn)皆隽? C h a i n e dI n c r e m e n t s ) 數(shù)據(jù)存儲(chǔ)模式，完成了數(shù)據(jù)的增量存儲(chǔ)，在有效的節(jié)約了歷史數(shù)據(jù)存儲(chǔ)空間的同時(shí)，滿足了數(shù)據(jù)歷史可回溯

9、性需要。3 ．采用W e bS e r v i c e 對(duì)外提供實(shí)時(shí)的交易數(shù)據(jù)歷史查詢，并滿足了批量歷史數(shù)據(jù)分析的需要，可方便的通過(guò)S Q L 進(jìn)行歷史數(shù)據(jù)切片、歷史狀態(tài)追溯等功能。4 ．運(yùn)用基于S y b a s e I Q 數(shù)據(jù)庫(kù)的虛擬備份( V i r t u a lB a c k u p ) 技術(shù)，并結(jié)合硬件磁盤(pán)塊拷貝技術(shù)的L o c a lC o p y 、D e l t aC o p y 、R e m o t e C o p