面向網絡爬蟲的海量URL數(shù)據管理技術研究.pdf

1、海量URL的管理一直是提高網絡爬蟲性能的一個瓶頸。現(xiàn)在，網絡規(guī)模越來越大，更新速度也變得越來越快，這些都促使網絡爬蟲系統(tǒng)來提高其性能。所以如何高效地管理網絡爬蟲的海量URL，使之能夠滿足網絡爬蟲高性能的要求，也就顯得越來越重要了。
　　為了能夠解決網絡爬蟲海量URL的高效管理問題，本文從工程的角度，提出這樣一個解決方案。它包括一個基于NC-Trie的索引結構、一個面向NC-Trie的緩存機制和一個基于計算機指令流水思想的任務處理體

2、系結構。
　　首先，根據網絡爬蟲所要管理的URL都是字符串這一特點，本文選取計算機界公認的處理字符串信息最為高效的結構——Tire結構，來作為網絡爬蟲海量URL管理的索引結構。但是，Trie結構在高效處理字符串的同時，也存在很多缺點。對存儲空間的浪費就是Tire結構的最大缺點。因此針對網絡爬蟲系統(tǒng)海量URL管理的特點，在原有的Trie結構壓縮方法的基礎上，本文提出一個改進的Trie壓縮結構——NC-Trie。NC-Trie比原有的

3、C-Trie具有更高的壓縮率，同時也保持了Trie結構高速訪問的優(yōu)點。
　　其次，由于網絡爬蟲要管理的URL數(shù)量巨大，必須借助外存才能更好地實現(xiàn)高效管理。因此，必須對索引結構進行必要的緩存。針對爬蟲系統(tǒng)對URL管理的特點，對于海量URL的索引的緩存，本文將采用最近最少用的替換策略，并采用一個轉換后的實現(xiàn)算法，來實施緩存的更新。
　　再者，根據網絡爬蟲對URL訪問的特點，本文使用計算機指令流水的基本思想，對網絡爬蟲對URL的各