文本特征抽取方法的研究.pdf

1、隨著計算機技術(shù)的不斷普及，人類的知識正通過互聯(lián)網(wǎng)這個平臺不斷的實現(xiàn)資源共享。但是，由于互聯(lián)網(wǎng)上的資源是非常龐大、無組織且不斷更新的，人們想要從浩瀚的互聯(lián)網(wǎng)資源中及時地提取出自己關(guān)注的內(nèi)容是非常困難的。因此，文本挖掘技術(shù)應運而生。而文本特征抽取，是提高文本挖掘效率和正確率的根本前提。
　　 粗糙集理論是20世紀發(fā)展起來的一種新的處理模糊性和不確定性知識集合的數(shù)學工具。在信息系統(tǒng)分析，數(shù)據(jù)挖掘等領域具有很高的應用價值。
　　

2、 本文重點介紹了粗糙集理論的基本概念、基本方法。分析了當前比較流行的文本特征抽取的方法，從算法的特征約簡率和文本正確分類率兩個方面，對當前算法進行了比較與分析。在此基礎上，本文根據(jù)文本特征約簡的根本目的，以及粗糙集理論關(guān)于決策屬性相對于條件屬性的依賴程度的基本原理，提出了新的文本特征屬性重要度的計算方法，該文本特征屬性重要度是基于特征權(quán)重在文本類內(nèi)方差和類間方差而計算得到的。這種文本特征屬性重要度的計算方式，可以根據(jù)文本特征屬性的分類能

3、力確定該特征屬性的重要度。在文本預處理階段，本文的基于WordNet將文本詞條向量提升為文本概念向量，解決了“同義詞”問題。為了進一步提高文本特征的約簡率，本文提出了屬性相關(guān)度分析方法，該方法可以確定兩個特征屬性相對文本分類所起到作用的近似程度，并在此基礎上剔除相關(guān)度較高的屬性，從而提高屬性約簡率。結(jié)合WordNet、新的特征屬性重要度定義，以及屬性相關(guān)度分析理論，本文設計了一套完整的文本特征約簡算法(Text Feature Extr