基于spark的分類回歸樹算法并行性研究

1、基于Spark的分類回歸樹算法并行性研究重慶大學碩士學位論文（學術學位）學生姓名：王曉楠王曉楠指導教師：尹云飛副教授專業(yè)：計算機軟件與理論學科門類：工學重慶大學計算機學院二O一六年四月萬方數據重慶大學碩士學位論文中文摘要I摘要隨著計算機技術與信息化技術的發(fā)展，信息化與現代化在社會各行各業(yè)都得到了極大的普及與覆蓋，而這些信息化的普及給各行各業(yè)帶了一個最大的問題就是數據呈指數級增長。為了充分利用這些數據，數據挖掘技術隨之迅速發(fā)展。分類技術是

2、數據挖掘的一種重要手段，也得到了廣泛的發(fā)展。決策樹分類技術是分類技術的一個重要的分支，本文主要對決策樹分類技術進行了深入的研究，詳細介紹了決策樹分類技術的一些關鍵概念、決策樹的處理過程、決策樹技術主要的研究內容等。決策樹主要的研究內容包括：數據預處理技術、分割屬性的選取策略、決策樹的剪枝、決策樹的并行化和增量式決策樹。其中，屬性的選取標準是決策樹最關鍵的研究內容，不同的決策樹之間最大的區(qū)別就是屬性選取標準的區(qū)別。本文還詳細的介紹了CAR

3、T這一決策樹算法，包括其屬性選取的標準、兩種不同類型的屬性（離散型屬性和連續(xù)型屬性）的不同處理方式以及其剪枝算法等，然后以示例的方式詳細地描述了CART算法的“建樹”和“剪枝”兩個重要的處理流程。本文還對Spark分布式處理框架進行了研究，詳細的介紹了Spark分布式處理框架的特點以及其與Hadoop分布式處理框架的不同之處。本文還列舉了Spark在國內外大公司的成功使用案例。本文還分析了CART決策樹算法的不足之處，并以此提出了自己的