python爬虫通用框架

发布时间:2020-08-08 20:09:49 作者:蒋将将
来源:网络 阅读:527

import requests


def getHTMLText(url):

try:

r = requests.get(url,timeout=30)

r.raise_for_status()  # 如果状态不是200,引发HTTP-Error异常

#print(r.status_code)

r.encoding = r.apparent_encoding

return r.text

except:

return "产生异常"


if __name__=="__main__":

url = "https://item.jd.com/5107323.html"

print(getHTMLText(url))


推荐阅读:
  1. Python爬虫框架【Scrapy】
  2. 通用权限管理框架

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python 框架

上一篇:redis的可视化客户端Redis Desktop Client Mac

下一篇:Java 基础 之 算数运算符

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》