面向信息檢索的智能分類方法研究.pdf

1、隨著互聯(lián)網技術的不斷發(fā)展，Internet上的信息日益豐富，已經成為人們日常工作和生活中獲取信息的重要來源。但是，由于Internet所固有的開放性和異構性，用戶很難從紛繁復雜的海量信息中準確定位到自己所需要的信息。因此，如何合理有效地組織和管理Internet上的信息，已經日益成為信息處理領域一個十分重要的研究課題。面對web上的海量信息，傳統(tǒng)的做法是對網上信息進行人工分類，并加以組織和整理，為人們提供一種相對有效的信息獲取手段。但是

2、，這種人工分類的做法存在許多弊端：一是耗費大量的人力、物力和財力。二是存在分類結果一致性不高的問題。即使分類人的語言素質較高，對于不同的人分類，其分類結果仍然不盡相同。甚至同一個人，在不同時間做分類也可能會有不同的結果。因此，人們對網頁智能分類技術的需要越來越迫切。 本文在研究傳統(tǒng)信息檢索技術實現(xiàn)的同時，結合現(xiàn)有的網頁分類技術，對網頁智能分類進行了較為系統(tǒng)的研究。在此基礎上對面向信息檢索的智能分類中的網頁預處理、中文分詞、特征提

3、取、網頁分類提出了一定的思考和見解。主要創(chuàng)新點： (1)針對網頁結構的特點，分析了網頁中對分類過程有貢獻的信息成分，改進了從中文網頁內自動清除“噪音”并提取正文的行之有效的方法。 (2)研究了現(xiàn)有網頁源代碼的特點，把網頁表示成樹型層次結構，每個葉子節(jié)點賦予不同的權重;在傳統(tǒng)的特征詞權重計算公式的基礎上，考慮了特征詞的長度和特征詞出現(xiàn)的位置兩個因素，提出了基于網頁標簽樹型層次結構的特征詞權重計算公式。 (3)介紹了

4、傳統(tǒng)的特征提取算法，并在X2統(tǒng)計量的基礎上，對X2統(tǒng)計量公式做了兩點改進。 (4)研究了現(xiàn)有的網頁分類方法。KNN分類算法為了找到與測試文本距離最近(最相似)的K篇文本，需要窮盡搜索整個訓練集，在訓練樣本數較多或者表示樣本的特征向量維數較高時，計算復雜性就很高。針對這一問題，本文在粒子群算法的基礎上，提出了一種智能快速尋找新文本的K個近鄰的PSOKNN算法. (5)對IG、MI、CHI、CHI*四種統(tǒng)計量的實驗結果做出了