基于hadoop平臺的氫分子生物醫(yī)學數據倉庫的分析與實現

1、基于基于Hadoop平臺的氫分子生物醫(yī)學數據倉庫的分析平臺的氫分子生物醫(yī)學數據倉庫的分析與實現與實現常強趙偉張磊摘要：氫分子生物醫(yī)學技術的發(fā)展方興未艾，大數據相關技術成為氫分子生物醫(yī)學領域的最新驅動力。依據氫分子生物醫(yī)學科研團隊需求，構建氫分子生物醫(yī)學數據倉庫模型，在數據中心環(huán)境下，使用Hadoop（分布式存儲技術基礎框架）建立氫分子生物醫(yī)學數據倉庫，充分利用虛擬化和集群的威力，提高數據倉庫的高速運算和存儲分析能力。圍繞Hadoop生態(tài)

2、圈及其技術，實現了不同數據來源的氫分子生物醫(yī)學數據提取、轉換和加載，變?yōu)橥瑯嫷亩嗑S數據，開展數據挖掘與分析。通過基礎醫(yī)學研究與計算機技術相結合，為氫分子生物醫(yī)學臨床及科研提取更多有價值的信息?！娟P鍵詞】氫分子醫(yī)學數據數據倉庫Hadoop近年來，我國氫分子生物醫(yī)學研究不斷發(fā)展，臨床科學研究和基礎研究水平逐步提高，同時國內氫健康產業(yè)不斷發(fā)展，相關廠家己達到600余家，相應的氫分子生物醫(yī)學數據和產業(yè)數據迅速積累，這些數據中必定蘊含著大量未被發(fā)

3、掘有價值的信息。氫分子生物醫(yī)學數據類型為文本、數字、圖像或者基因等，具有多維和異構等特征。當前，氫分子生物醫(yī)學數據倉庫的相關分析研究還很少見。傳統(tǒng)的數據庫對具體的業(yè)務數據進行處理，當對多個數據庫的氫分子生物醫(yī)學數據倉庫環(huán)境包括操作型系統(tǒng)和數據倉庫系統(tǒng)兩大部分，系統(tǒng)總體架構圖如圖1所示。操作型系統(tǒng)數據由業(yè)務數據組成，我校氫生物醫(yī)學研究團隊的科研臨床業(yè)務數據來源多樣非單一，既有儀器設備直接產生的數據，又有科研管理軟件等業(yè)務軟件錄入整理后的數

4、據，還有直接從社區(qū)，病患等處采集的臨床數據。數據倉庫建立的最為重要的處理過程是ETL過程，由數據抽取、轉換和裝載過程三個過程緊密相連。經過數據抽取過程，將操作型數據儲存到數據倉庫中，形成原始數據存儲（RDS）；在經過數據的轉換和轉載過程，變?yōu)檗D換后的數據（TDS）。自動化調度組件的功能是定期自動執(zhí)行ETL過程。數據目錄記錄數據倉庫中數據的清單。查詢引擎負責運行數據挖掘算法，執(zhí)行用戶查詢；最終用戶通過可視化的界面得到數據分析結果。2數據倉