基于Hadoop和Django的大數據可視化分析Web系統(tǒng).pdf

1、互聯網的發(fā)展讓數據量呈現指數增長，當今世界，人類已經進入大數據的時代，如何從海量的數據里發(fā)掘有價值的信息變的至關重要。將抽象和結構復雜的數據變成易于人類理解的信息是數據可視化技術研究的主要內容。數據可視化技術是大數據領域的研究熱點之一,有著巨大的研究價值和應用價值。本文結合實際的大數據可視化項目，探究了如何使用開源的Django Web框架構建基于Hadoop計算平臺的大數據可視化分析Web系統(tǒng)，詳細介紹了系統(tǒng)的設計方案，并分模塊介紹了

2、設計內容。針對系統(tǒng)內測階段暴露出的問題，從多個方面進行了優(yōu)化和改進，包括前端性能優(yōu)化、Django應用層優(yōu)化、PostgreSQL數據庫優(yōu)化等，總結出了大量的Web系統(tǒng)優(yōu)化經驗,具有一定的借鑒意義。
　　項目中Web系統(tǒng)的數據源來自于Hadoop計算平臺。Hadoop計算平臺對成千上萬的數據處理任務進行調度，調度算法的好壞直接影響數據處理的效率。本文研究了Hadoop平臺作業(yè)調度算法。首先深入分析了Hadoop計算平臺三種常用的作

3、業(yè)調度算法先進先出調度算法、公平份額調度算法、計算能力調度算法的算法原理和各自的優(yōu)缺點，隨后分析了包含“移動計算”思想的延遲調度算法比三種常用調度算法的優(yōu)秀之處和自身的不足，在延遲調度算法的基礎上提出了一種考慮節(jié)點負載情況的改進型延遲調度算法，給出了算法分析和仿真結果，證明改進型延遲調度算法帶來更高的作業(yè)調度效率，具有一定的實用價值。
　　最后，對項目的架構相關問題進行了分析，這些問題包括前后端存在職責不清晰的現象，前后端代碼之間