python爬虫涉及的相关库有哪些

发布时间:2020-11-17 13:58:00 作者:小新
来源:亿速云 阅读:355

这篇文章主要介绍了python爬虫涉及的相关库有哪些,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

以下是Python爬虫涉及的相关库

请求库,解析库,存储库,工具库

1、请求库:urllib/re/requests

(1) urllib/re是python默认自带的库,可以通过以下命令进行验证:

python爬虫涉及的相关库有哪些

没有报错信息输出,说明环境正常

(2) requests安装

2.1 打开CMD,输入 pip3 install requests

2.2 等待安装后,验证

python爬虫涉及的相关库有哪些

(3) selenium安装(驱动浏览器进行网站访问行为)

3.1 打开CMD,输入 pip3 install selenium

3.2 安装chromedriver

网址:https://npm.taobao.org/

把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后,验证

python爬虫涉及的相关库有哪些

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址:http://phantomjs.org/

下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\,把bin目录的路径添加到PATH变量

验证:

打开CMD

python爬虫涉及的相关库有哪些

2. 解析库:

2.1 lxml (XPATH)

打开CMD输入pip3 install lxml或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件,命令行执行pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD,需要先安装好lxml

pip3 install beautifulsoup4

python爬虫涉及的相关库有哪些

2.3 pyquery(类似jquery语法)

打开CMD,pip3 install pyquery

验证安装结果

python爬虫涉及的相关库有哪些

3. 存储库

3.1 pymysql(操作MySQL,关系型数据库

安装:pip3 install pymysql,安装后测试:

python爬虫涉及的相关库有哪些

3.2 pymongo(操作MongoDB,key-value)

安装 pip3 install pymongo

验证

python爬虫涉及的相关库有哪些

3.3 redis(分布式爬虫,维护爬取队列) 安装:pip3 install redis

验证:

python爬虫涉及的相关库有哪些

4.1Django(分布式爬虫维护系统)pip3 install django

4.2jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)安装 pip3 install jupyter

验证:打开CMD,jupyter notebook

之后就可以在网页直接创建记事本,代码块和Markdown块,支持打印

感谢你能够认真阅读完这篇文章,希望小编分享python爬虫涉及的相关库有哪些内容对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,遇到问题就找亿速云,详细的解决方法等着你来学习!

推荐阅读:
  1. 前端项目涉及(库)
  2. python爬虫相关库的安装配置

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python爬虫 python python爬

上一篇:Linux中什么是平均负载

下一篇:深入浅析MySQL数据库中的聚合函数与分组查询

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》