基于語義相似度的比價系統(tǒng)關鍵技術研究.pdf

1、隨著互聯(lián)網的成熟，網絡開始從各個方面改變人們的生活方式，受互聯(lián)網思潮的影響，傳統(tǒng)零售業(yè)開始尋求一種新的銷售理念，電子商務隨之流行起來?，F(xiàn)在發(fā)展比較成熟的購物網站如淘寶、京東、唯品會、亞馬遜等，一般都缺乏與其他不同類別的電商網站來對比以突出自己網站優(yōu)越性的功能。這些購物網站上的商品種類非常之多，沒有突出它們專制于銷售哪一類商品，并且價格不一，以至于用戶很難在這些網站上挑選到特定類別上心儀的商品。平臺上入駐的商家也由于不知道上傳的商品的線上

2、市場價格而難以對產品制定最合適的價格，在產品價格方面沒有競爭優(yōu)勢。
　　本研究主要內容包括：⑴基于Heritrix爬蟲框架，制定了一個高效靈活的抓取策略來爬取商品數據。針對購物網站商品頁面的這種特定網頁結構，采取了結合HTMLParser和正則表達式的方法來提取所抓取網頁中的商品數據，建立了本系統(tǒng)所需要的商品數據庫。⑵雖然不同的人對一個商品的描述是不盡相同的，但從語義上來說，所表達的內容是很相似的，為提高商品比價時商品描述與數據庫

3、中商品信息匹配的精確度，本文提出了一種基于語義的中文文本相似度算法。利用知網中的詞匯語義信息來計算詞語的語義相似度，從詞語的多個角度出發(fā)來分析詞語的權重并以此來提取文本的核心詞，通過計算文本核心詞之間的相似度來度量文本之間的相似度，并用實驗驗證了這種算法的有效性。⑶為了進一步提高商品比價的精確度，本文利用商品的一些標簽信息如品牌，功效等，根據這些商品標簽的相似性進一步確定與待比較商品最相似或最相關的商品，以獲得更精確的比價結果。文中利用