基于日志的校園網(wǎng)用戶興趣挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、代理服務(wù)器是局域網(wǎng)用戶上網(wǎng)的必由之路,其日志記錄著每一個(gè)用戶的上網(wǎng)歷史痕跡。研究證明,長(zhǎng)期連續(xù)的網(wǎng)絡(luò)日志中蘊(yùn)含著上網(wǎng)用戶的某些固有的特征,這些特征不會(huì)因用戶離開(kāi)網(wǎng)絡(luò)而消失。人的興趣就屬于這種特征。
　　本文研究和開(kāi)發(fā)一套系統(tǒng),該系統(tǒng)主要為單位管理部門服務(wù),能為管理者提供下屬員工的興趣類型和最新關(guān)注點(diǎn)狀況。該系統(tǒng)的工作流程為:從代理日志出發(fā),提取出用戶上網(wǎng)的URL,根據(jù)URL獲取相應(yīng)的網(wǎng)頁(yè)源代碼,從源代碼中提取出正文文本,對(duì)文本進(jìn)行

2、中文分詞,在分詞中抽取出詞匯,利用詞匯進(jìn)行文本分類,最后根據(jù)分類結(jié)果和相關(guān)詞匯確定用戶興趣模型。用戶興趣模型采用樹(shù)型分層結(jié)構(gòu),能仿照人類記憶的遺忘規(guī)律進(jìn)行更新和優(yōu)化,使用的時(shí)間越長(zhǎng)越能準(zhǔn)確反映用戶的興趣特征。本研究包括下面七個(gè)環(huán)節(jié)：日志清理、網(wǎng)頁(yè)源代碼獲取、網(wǎng)頁(yè)正文提取、網(wǎng)頁(yè)中文分詞、網(wǎng)頁(yè)詞提取、文本分類和興趣建模。在網(wǎng)頁(yè)詞提取和文本分類環(huán)節(jié),重點(diǎn)探討了TFIDF算法和樸素貝葉斯分類算法在SQL SERVER數(shù)據(jù)庫(kù)中的實(shí)現(xiàn);在興趣建模環(huán)

3、節(jié),引入了遺忘機(jī)制,著重研究了模型的遺忘和更新方法。本研究特點(diǎn)有：①研究的用戶興趣范圍更寬。本文研究使用的數(shù)據(jù)源采用局域網(wǎng)代理服務(wù)器日志,而個(gè)性化服務(wù)的興趣研究多采用Web服務(wù)器日志,兩者最大的區(qū)別是前者記錄的是局域網(wǎng)用戶訪問(wèn)互聯(lián)網(wǎng)所有Web站點(diǎn)的行為,而后者記錄的只是互聯(lián)網(wǎng)用戶訪問(wèn)該網(wǎng)站的行為。對(duì)單個(gè)用戶來(lái)說(shuō),前者研究的用戶興趣面更寬；②研究的用戶興趣可具體到個(gè)人。本文提出的興趣挖掘系統(tǒng)面向的用戶是校園網(wǎng)內(nèi)的所有員工,用戶是相對(duì)穩(wěn)定的