基于Hadoop的百度游戲數據平臺的設計與實現.pdf

1、百度游戲數據平臺是百度游戲事業(yè)部的基礎數據平臺，主要實現百度游戲事業(yè)部基礎數據的抽取、計算、統(tǒng)計、展示等功能。百度游戲事業(yè)部自成立以來不斷發(fā)展壯大，取得了令人矚目的成績。隨著部門平臺的不斷增加、數據量的不斷增長、數據類型的不斷擴展，對數據統(tǒng)計和分析的需求不斷加劇。數據蘊藏著巨大的價值，游戲玩家的注冊、登錄和付費等數據可以為部門的決策和戰(zhàn)略提供依據?；诖朔N情況，提出了百度游戲數據平臺的設計與開發(fā)需求，計劃建設一個基于維度模型的大數據多維

2、分析系統(tǒng)，希望能夠滿足市場運營人員的各項數據統(tǒng)計需求，提供及時、準確、全面、多維度的數據統(tǒng)計功能。由于基礎數據來源復雜、數量龐大，本項目利用Hadoop分布式架構，提供一個完整的數據解決方案。
　　項目從數據流上可劃分成兩大部分，基于Hadoop的基礎數據系統(tǒng)和基于J2EE（Java2 Platform Enterprise Edition，Java2平臺企業(yè)版）的數據平臺系統(tǒng)。其中，基礎數據系統(tǒng)利用 Hadoop的計算能力，完成

3、數據ETL（Extraction-Transformation-Loading，數據提取、轉換和加載）和數據維度計算;數據平臺系統(tǒng)根據數據報表需求，實現數據計算、存儲和查詢、展現功能，并實現了定制報表、定時任務配置和多層級覆蓋的權限管理等特色功能。數據平臺包括六個部分:今日概況、定制報告、市場推廣、運營統(tǒng)計、配置管理和配置常用報表，每個部分根據需求又細分為各個子模塊。本文論述了百度游戲數據平臺的需求分析、架構設計以及詳細設計和最終實現。