请求头一键转换为字典的示例分析

发布时间:2021-12-04 19:27:15 作者:柒染
来源:亿速云 阅读:152

请求头一键转换为字典的示例分析,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

请求头一键转换为字典的示例分析

我们在写爬虫的时候经常需要拷贝浏览器的请求头来使用,但是拷贝过来的并不是字典不能直接使用,怎么能一键转换其为字典形式呢,下面介绍几种方式:

方法一,不够优雅:

请求头一键转换为字典的示例分析

方法二

请求头一键转换为字典的示例分析

可以发现复制请求头很简单了,只要把请求头全部copy下来,然后用headers_raw_to_dict 转一下,就直接变成了dict了.

推荐方法

方法三

借助IDE的正则替换(PyCharm为例)
PyCharm中替换的快捷键是Ctrl+R,选中Regex正则模式

请求头一键转换为字典的示例分析

212121.gif

源匹配为 (.): (.)$
替换匹配为 "$1": "$2",

方法四:Chrome插件Postman

Postman是很强大的调试工具,但是目前Google已经放弃了Chrome App,目前在商店里只能直接搜索到插件。

请求头一键转换为字典的示例分析

你可以安装插件以后点击链接获取Postman App:

请求头一键转换为字典的示例分析

请求头一键转换为字典的示例分析

开启Postman Interceptor,访问的任意请求都会被Postman截获。
在Postman点击请求-Code-选择Python-选择相应方式即可。

请求头一键转换为字典的示例分析

可以看到Postman支持非常多种语言的导出。
可以看到Postman的确是个非常强大的工具,甚至可以直接帮我们生成requests代码了,而不仅仅是把headers转化为字典…
但是呢,我个人感觉使用Postman来干这件事有种杀鸡焉用牛刀的感觉。这款工具太重了…大家需要衡量学习成本,只做爬虫而不做Web开发的话估计用的会少一些。另一方面就是可能依然有人有人没办法访问Google…

方法五:使用curlconverter

curl.trillworks.com/
使用这个方法前我们需要知道什么是curl。
curl是Linux命令行下的文件传输工具,可以直接访问URL,支持多种协议和参数设置甚至cookie设置。简单来说,就是可以模拟一个请求。
Chorme浏览器的开发工具支持直接copy as curl,所以我们只需要这么做:
在开发工具中选中请求copy as curl,然后粘贴到网站表单中,获得Python代码。这个网站只支持Python、NodeJS和PHP。这种轻量级的方法应该是最方便的一种了…

请求头一键转换为字典的示例分析

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

推荐阅读:
  1. python 字典转对象
  2. model转字典

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

pycharm

上一篇:如何使用Jupyter Book发布自己的网页版代码书

下一篇:如何利用scrapy进行八千万用户数据爬取与优化

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》