您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
直奔主题,在用多线程写一个爬虫项目时,很自然的想到用“生产者-消费者”模式,但是又想实现一个额外的需求,即如果爬虫爬到了队列中已存在的url,则不进行入队操作。想实现这个,大概面临两个问题:
Queue
对象不支持in
操作Queue
对象外部通过if item in q
这种形式也行不通,因为该过程无锁,多线程情况下就无法保证查询结果的准确性进而观察了一下queue模块的源代码,因为Queue类是基于deque类实现的,那么就好办了:对put
方法稍加改造,增加一个unique
参数,依据此参数是否为True,在底层的deque中判断要加入的元素的存在性,以此可实现类似set的特性。
put方法源代码:
def put(self, item, block=True, timeout=None):
with self.not_full:
if self.maxsize > 0:
if not block:
if self._qsize() >= self.maxsize:
raise Full
elif timeout is None:
while self._qsize() >= self.maxsize:
self.not_full.wait()
elif timeout < 0:
raise ValueError("'timeout' must be a non-negative number")
else:
endtime = time() + timeout
while self._qsize() >= self.maxsize:
remaining = endtime - time()
if remaining <= 0.0:
raise Full
self.not_full.wait(remaining)
self._put(item)
self.unfinished_tasks += 1
self.not_empty.notify()
修改后的put方法
def put(self, item, block=True, timeout=None, unique=False):
"""增加了unique参数"""
with self.not_full:
#----- 以下三行为新增代码 -----#
if unique:
if item in self.queue:
return
#----- 新增代码结束 -----#
if self.maxsize > 0:
if not block:
if self._qsize() >= self.maxsize:
raise Full
elif timeout is None:
while self._qsize() >= self.maxsize:
self.not_full.wait()
elif timeout < 0:
raise ValueError("'timeout' must be a non-negative number")
else:
endtime = time() + timeout
while self._qsize() >= self.maxsize:
remaining = endtime - time()
if remaining <= 0.0:
raise Full
self.not_full.wait(remaining)
self._put(item)
self.unfinished_tasks += 1
self.not_empty.notify()
当然也可以仿照put_nowait
方法增加一个快捷方法put_unique
,如下
def put_unique(self, item, block=True, timeout=None):
return self.put(item, block, timeout, unique=True)
Have fun!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。