基于Spark的推薦系統(tǒng)的研究.pdf

1、浙江理工大學學位論文獨創(chuàng)性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果，也不包含為獲得浙江理工大學或其他教育機構的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。學位論文作者簽名：孝硯偉簽字日期：矽f7年眵月，；曰浙江理工大學碩士學位論文基于Spark的推薦系統(tǒng)的研究基

2、于Spark的推薦系統(tǒng)的研究摘要隨著互聯網和信息技術的高速發(fā)展，有海量的信息數據產生，怎么能夠從紛繁復雜的信息中，獲取有價值的數據是一個亟待解決的問題。推薦系統(tǒng)是解決這一問題的有效方法之一，推薦系統(tǒng)是一種從用戶的歷史行為以及喜好信息中給目標用戶推薦產品的應用，廣泛地應用于電子商務、視頻音樂門戶網站等多個鄰域。然而依然存在數據稀疏性、冷啟動、系統(tǒng)預測準確率不理想的問題。特別是隨著用戶數以及物品數不斷增加，基于單機的傳統(tǒng)推薦算法遇到不可擴展

3、性的瓶頸，很難滿足當今的商業(yè)需求，而結合分布式計算平臺的并行化實現為解決這個問題提供了新的思路。Spark是一種新型的基于內存的通用并行化大數據計算引擎，由于其迭代并行化的計算優(yōu)勢，在大數據處理方面得到廣泛的關注，本文主要研究了基于鄰域和基于模型的推薦算法，針對其稀疏性、冷啟動及預測準確率不理想的問題，進行算法改進，并將其在Spark集群上并行化設計與實現優(yōu)化算法。具體的研究的方面如下：(1)針對基于用戶的協(xié)同過濾算法存在的評分數據稀疏

4、情況下推薦預測準確率不理想的問題，引入了用戶屬性特征相似度。本文在計算用戶相似度時，組合了用戶屬性特征相似度和用戶協(xié)同過濾相似度，以此來緩解評分數據稀疏性對計算用戶相似度的影響。并在Spark平臺實現了優(yōu)化后的算法，通過實驗結果分析，優(yōu)化的基于用戶的協(xié)同過濾算法，提高了推薦預測準確率，也改善了算法的執(zhí)行效率。(2)針對基于物品的協(xié)同過濾算法存在冷啟動情況下預測準確率不理想的問題，引入了物品屬性特征相似度。本文在計算物品相似度度時，組合了