分詞技術在異構數據統一檢索中的研究及應用.pdf

1、隨著信息化的高速發(fā)展，各種數據資源迅速累積，數據結構也日益復雜。面對大量的信息，而且是邏輯結構，存儲結構等差異很大的數據信息，如何方便地且快速、準確地檢索出有效信息，從而獲取重要資源，是信息時代人們的迫切需求。為解決異構數據統一檢索問題，本文提出一種異構數據統一檢索方法并引入分詞技術，提高信息檢索的查準率及系統檢索效率。
　　本文介紹了分詞技術與異構數據檢索的國內外研究現狀，對分詞技術和異構數據檢索的基本理論、常用技術和方案、典型

2、算法等進行了分析和總結。在此基礎上，設計了一種異構數據統一檢索總體架構，并詳細介紹了框架的層次劃分、各層次模塊的功能、系統的運行流程及架構的特點。在分析傳統分詞算法及分詞詞典機制的基礎上，結合異構數據統一檢索的特點，設計了一種基于改進的整詞二分詞典的快速分詞法，并給出算法的具體實現。經實例驗證，該分詞算法分詞準確，響應快速，能很好的適應異構檢索對查詢語句的切分、關鍵詞提取及查詢結果相似度比對等操作的要求。本文通過對檢索結果處理流程的逐步