基于HBase的股票倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在金融、證券等傳統(tǒng)行業(yè)中，數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)多使用集中硬件的物理架構(gòu)，為了保障數(shù)據(jù)庫(kù)系統(tǒng)的穩(wěn)定可靠，一般多使用IBM、HP等小型機(jī)或者大型機(jī)，以及高端的海量存儲(chǔ)。這樣的架構(gòu)具有管理簡(jiǎn)單，性能優(yōu)良，安全性高等優(yōu)點(diǎn)。但是也存在投入成本高，維護(hù)成本高，這些數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)一般采用縱向擴(kuò)展。為了保證數(shù)據(jù)的不丟失，一般還會(huì)創(chuàng)建異地?cái)?shù)據(jù)中心，投入成本高,利用率低。由于數(shù)據(jù)量會(huì)持續(xù)增加，當(dāng)縱向擴(kuò)展到達(dá)目前硬件限制后，系統(tǒng)將會(huì)擴(kuò)展性差，異地備份困難，即使增

2、加大量系統(tǒng)資金投入也很難解決系統(tǒng)瓶頸。
　　本文結(jié)合當(dāng)前股票交易系統(tǒng)處理的現(xiàn)狀，通過(guò)對(duì)系統(tǒng)目前存在的問(wèn)題進(jìn)行分析，提出以HBase數(shù)據(jù)倉(cāng)庫(kù)的解決方案，并且使OLTP和HBase結(jié)合使用，為用戶提供服務(wù)。本文中的系統(tǒng)采用B/S架構(gòu)進(jìn)行設(shè)計(jì)，使用HBase對(duì)用戶數(shù)據(jù)進(jìn)行存儲(chǔ)，Jsp和Servlet提供前臺(tái)界面的展示，采用Apache提供HTTP服務(wù)，采用JEE7批處理模型對(duì)日終清算進(jìn)行控制，ETL主要使用了Goldengate用于兩個(gè)

3、Oracle數(shù)據(jù)庫(kù)之間的數(shù)據(jù)實(shí)時(shí)傳輸，使用Sqoop將數(shù)據(jù)從Oracle同步到Hbase數(shù)據(jù)倉(cāng)庫(kù)。
　　基于HBase的股票倉(cāng)庫(kù)系統(tǒng)，實(shí)現(xiàn)了生產(chǎn)數(shù)據(jù)庫(kù)到Hbase數(shù)據(jù)庫(kù)的準(zhǔn)實(shí)時(shí)傳輸。同時(shí)實(shí)現(xiàn)用戶股票訂單查詢，用戶資金流水查詢，股票行情，用戶資產(chǎn)查詢等功能。增加了用戶資產(chǎn)的清算功能，用于幫助用戶對(duì)自己資產(chǎn)變化進(jìn)行分析，為用戶的行為分析提供數(shù)據(jù)基礎(chǔ)。本系統(tǒng)能夠有效的降低股票O(jiān)LTP數(shù)據(jù)庫(kù)的負(fù)載，降低系統(tǒng)的耦合，提高系統(tǒng)的擴(kuò)展性，當(dāng)用戶