(爬虫预热)01 Requests模块

发布时间:2020-06-15 20:29:28 作者:苏浩智
来源:网络 阅读:635

一、Requests模块的作用。

Requests 的左右就是充当http的客户端,向服务端发送http请求,然后获得对应的响应头和响应体。

二、包含的请求方式。

#请求方式:
#requests.post()
#requests.get()
#requests.delete()
#requests.head()
#requests.options()

三、基本用法。

 response = requests.get("https://www.baidu.com") #向指定url发送get请求。

(response.text) #从服务端返回的response中获取html文档信息。
(response.status_code) #从服务端返回的response中获取本次响应的状态码。
(response.cookies) #从服务端获得本次响应的cookies。


(1)基本get请求。

#带参数的get请求,有两种传递参数的方式。
第一种方法:
import requests

response = requests.get(" #在本次的GET请求中一共传了两个参数,分别是name = hamasaki age = 40 .
print(response.text)


第二种方法:
另外一种传参方式,就是通过生成dict,这种传参的方式比较常用:
import requests

data = {"name":"hamasaki","age":40}

response = requests.get("http://httpbin.org/get",params=data)
print(response.text)



(2)通过Requests 获取二进制的数据。

import requests

response = requests.get("https://githup.com/favicon.ico")
("favicon.ico","wb") as f:
    f.write(response.content)


(3)添加headers。

 import requests

headers = {
    'Content-Type':'application/json;charset=utf-8',
    ''Host':'www.baidu.com'}

response = requests.get(url="www.baidu.com",headers=headers)
print(response.text)


(4)基本post请求。

import requests


headers = {

    'Content-Type': 'application/json;charset=utf-8',

    'accept': '*/*',

    'accept-encoding':'gzip, deflate, br',

    'accept-language':'zh-CN,zh;q=0.9',

    'access-control-request-headers':'content-type',

    #'access-control-request-method:':'POST',

    'origin': 'https://www.nike.com',

    'referer':'https://www.nike.com/cn/zh_cn/e/nike-plus-membership',

    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36',

}

post_data = {

    "client_id":"HlHa2Cje3ctlaOqnxvgZXNaAs7T9nAuH",

    "grant_type":"password",

    "password":"Suhaozhi123",

    "username":"+861394227097",

    "ux_id":"com.nike.commerce.nikedotcom.web"

}

response = requests.post(url="https://unite.nike.com/login)

print(response2.status_code)



(5)post请求上传文件。

import requests

files = {'file':open('ayumi.jpg','rb')}
response = requests.post("http://httpbin.org/post",files=files)


(6)使用代理。


import requests

proxy_dict = {         #普通http,https代理。
    "http":"http://127.0.0.1:9743",
    "https":"https://127.0.0.1:9743"
}

response = requests.get("https://www.baidu.com",proxies=proxy_dict)
print(response.status_code)

#入需输入用户名密码的代理

import requests

proxy_dict = {
    "http":"http://user:password@127.0.0.1:9743",
    "https":"https://user:password@127.0.0.1:9743"
}

response = requests.get("https://www.baidu.com",proxies=proxy_dict)
print(response.status_code)


#socks代理

pip install 'requests[socks]'



import requests

proxy_dict = {
    "http":"socks5://127.0.0.1:9743",
    "https":"socks5://127.0.0.1:9743"
}

response = requests.get("https://www.baidu.com",proxies=proxy_dict)
print(response.status_code)





四、Respouse相关用法。

response.status_code  #获取状态码。

response.headers #获取响应头。

response.cookies #获取cookies对象。

response.url #获取请求时的url。

response.history #获取历史记录。

(1)获取cookie

import requests

response = requests.get("https://www.baidu.com")
for k,v in response.cookies.items():
    print(k+"="+v)


五、异常处理相关:

import requests
from requests.exceptions import ReadTimeout,ConnectionError,RequestException
try:
    response = requests.get("http://httpbin.org/get",timeour=0.5)
    print(response.status_code)
except ReadTimeout:
    print("Timeout")
except ConnectionError:
    print("connection error")
except RequestException:
    print("error")




推荐阅读:
  1. 爬虫之request模块
  2. Python———爬虫学习总结

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

requests 模块 ue

上一篇:JavaScript中逻辑运算符的使用

下一篇:Nginx服务优化(四)日志分割

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》