Python爬虫URL去重策略

在Python爬虫中，URL去重是一个重要的环节，可以有效避免重复爬取相同的网页，提高爬虫效率。以下是一些常见的URL去重策略：

1. 使用集合（Set）： 将已经访问过的URL存储在一个集合中，每次需要检查URL是否已经访问过时，只需判断该URL是否在集合中即可。集合的查找操作时间复杂度为O(1)，效率较高。

   visited_urls = set()
   
   def is_visited(url):
       return url in visited_urls
   
   def add_visited_url(url):
       visited_urls.add(url)
   

2. 使用数据库： 将已经访问过的URL存储在数据库中，每次需要检查URL是否已经访问过时，只需查询数据库即可。数据库的查找操作时间复杂度取决于数据库的性能，但通常比集合要慢一些。

   import sqlite3
   
   def init_db():
       conn = sqlite3.connect('visited_urls.db')
       cursor = conn.cursor()
       cursor.execute('''CREATE TABLE IF NOT EXISTS visited_urls (url TEXT UNIQUE)''')
       conn.commit()
       return conn
   
   def is_visited(conn, url):
       cursor = conn.cursor()
       cursor.execute("SELECT COUNT(*) FROM visited_urls WHERE url=?", (url,))
       return cursor.fetchone()[0] > 0
   
   def add_visited_url(conn, url):
       cursor = conn.cursor()
       cursor.execute("INSERT INTO visited_urls (url) VALUES (?)", (url,))
       conn.commit()
   

3. 使用缓存： 将已经访问过的URL存储在缓存中，如Redis或Memcached。缓存查找操作时间复杂度通常为O(1)，效率较高。需要注意的是，缓存可能会有一定的容量限制，当缓存满时，需要将缓存中的部分数据清除。

   import redis
   
   def init_redis():
       return redis.Redis(host='localhost', port=6379, db=0)
   
   def is_visited(redis, url):
       return redis.sismember('visited_urls', url)
   
   def add_visited_url(redis, url):
       redis.sadd('visited_urls', url)
   

4. 使用爬虫框架提供的去重功能： 一些爬虫框架，如Scrapy，已经内置了URL去重的功能。使用这些框架，你可以方便地实现URL去重。

   # Scrapy示例
   class MySpider(scrapy.Spider):
       name = 'myspider'
       start_urls = ['http://example.com']
   
       def parse(self, response):
           url = response.url
           if not self.is_visited(url):
               self.add_visited_url(url)
               # 处理网页内容
   

以上就是一些常见的URL去重策略，你可以根据自己的需求选择合适的策略。