python中怎么用JS加载加快爬虫获取

这篇文章主要介绍python中怎么用JS加载加快爬虫获取，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

python的requests库只能爬取静态页面，爬取不了动态加载的页面。使用JS加载数据方式，能提高爬虫门槛。

爬虫方法：

抓包获取数据url

通过抓包方式可以获取数据的请求url，再通过分析和更改url参数来进行数据的抓取。

示例：

1.看 https://image.baidu.com这部分的包。可以看到，这部分包里面，search下面的那个 url和我们访问的地址完全是一样的，但是它的response却包含了js代码。

2.当在动物图片首页往下滑动页面，想看到更多的时候，更多的包出现了。从图片可以看到，下滑页面后得到的是一连串json数据。在data里面，可以看到thumbURL等字样。它的值是一个url。这个就是图片的链接。

3. 打开一个浏览器页面，访问thumbURL=https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=1968180540,4118301545&fm=27&gp=0.jpg，发现搜索结果里的图片。

4. 根据前面的分析，就可以知道，用浏览器访问这个链接确定他是公开的。

5. 最后就可以寻找URL的规律，对URL进行构造便可获取所有照片。

使用selenium

通过使用selenium来实现模拟用户操作浏览器，然后结合BeautifulSoup等包来解析网页通过这种方法获取数据，简单，也比较直观，缺点是速度比较慢。

以上是“python中怎么用JS加载加快爬虫获取”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！