基于MapReduce用戶聚類算法在Web日志挖掘中應用.pdf

1、現(xiàn)如今，Web上的數據以無法想象的規(guī)模在迅速的增大，對這些數據進行挖掘可以得到很多重要信息。本文對創(chuàng)新知識云平臺所生成的Web日志進行挖掘可以有效的了解客戶的需求，掌握客戶的瀏覽習慣來豐富網站的內容并且對網站的優(yōu)化以及展示方式都有積極的推動作用。本文通過Web日志的挖掘對用戶進行聚類，將具有相同瀏覽習慣的用戶聚集在同一個類中。
　　在用戶聚類的過程中會存在一定誤差。一方面本文所采用的算法大多數是基于統(tǒng)計學的用戶聚類算法，而統(tǒng)計學的

2、準確率是建立在大量實驗基礎之上。為了減少統(tǒng)計誤差，在實驗的過程中，選擇多個實驗樣本進行實驗；另一方面在用戶聚類的過程中一個重要的過程就是用戶識別。在用戶識別過程中，首先，根據用戶的IP地址和用戶代理來識別用戶；然后，使用會話識別算法來進一步的提升用戶識別的效果。
　　用戶的相似度計算是用戶聚類中非常重要的過程。為了提高用戶聚類的準確率，從用戶訪問路徑頻繁程度、用戶訪問路徑序列以及用戶訪問頁面語義內容多維度的去構建相關矩陣，通過計算