在python3爬虫中使用GIL如何修改多线程

发布时间：2020-11-25 15:01:34 作者：Leah
来源：亿速云阅读：159

本篇文章为大家展示了在python3爬虫中使用GIL如何修改多线程，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

多线程在Python中只能交替执行，即使100个线程跑在100核CPU上，也只能用到1个核。通常我们用的解释器是官方实现的CPython，要真正利用多核，除非重写一个不带GIL的解释器。

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
from multiprocessing import Process
def loop():
  while True:
    pass
if __name__ == '__main__':
  for i in range(3):
    t = Thread(target=loop)
    t.start()
  while True:
    pass

我的电脑是4核，所以我开了4个线程，看一下CPU资源占有率：

在python3爬虫中使用GIL如何修改多线程

我们发现CPU利用率并没有占满，大致相当于单核水平。

而如果我们变成进程呢？

我们改一下代码：

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
from multiprocessing import Process
def loop():
  while True:
    pass
if __name__ == '__main__':
  for i in range(3):
    t = Process(target=loop)
    t.start()
    Pass

在python3爬虫中使用GIL如何修改多线程

结果直接飙到了100%，说明进程是可以利用多核的！

上述内容就是在python3爬虫中使用GIL如何修改多线程，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。

在python3爬虫中使用GIL如何修改多线程

相关阅读