怎么用Python爬取b站小视频

发布时间:2022-01-14 15:00:49 作者:iii
来源:亿速云 阅读:196

今天小编给大家分享一下怎么用Python爬取b站小视频的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。

b 站小视频地址:

http://vc.bilibili.com/p/eden/rank#/?tab=全部

我爬取了每日的小视频排行榜,学会了每日的,爬取本周、本月的就非常简单了,改个标签就行,稍后详细分析会讲到。以下是爬取结果。

怎么用Python爬取b站小视频

项目环境

语言:Python3
工具:Pycharm

程序结构

怎么用Python爬取b站小视频

主要由 3 部分组成:

代码分析

怎么用Python爬取b站小视频

观察下方参数的变化,发现只有 next_offset 这个字段在变,每次都比前一个多 10。

怎么用Python爬取b站小视频

这就好办了,我们把参数部分单独拿出来,把可变的 next_offset 写成变量,返回目标网页的 json 数据。

怎么用Python爬取b站小视频

接下来,我把小视频下载下来,为了美观,我做了个下载器,显示下载速度。效果如下。

怎么用Python爬取b站小视频

此处有个地方需注意下,请求目标网页时必须带上此网页的 headers 信息,网站做了反爬操作,否则下载下来的视频是空的,部分代码如下。(ps:大家运行代码时把 headers 换成自己浏览器在本网页的 headers 即可)

怎么用Python爬取b站小视频

主函数中为了提取更多视频,我们把 next_offset 这个变量做个循坏,然后从 json 数据中提取视频的标题和可下载的链接。观察下页面的 json 数据结构就可以轻松获取文章标题和下载链接数据。

怎么用Python爬取b站小视频

为了防止有些视频没有提供下载链接的情况,我加了异常处理,细心的朋友应该发现了文章前面给的效果图只有84个视频,原因就在此。最后,为了防止 ip 被封,设置了随机等待时间。其实,总体下来,不到 5 分钟,100 个视频可以全部下载完毕。

怎么用Python爬取b站小视频

以上就是“怎么用Python爬取b站小视频”这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注亿速云行业资讯频道。

推荐阅读:
  1. Python爬取B站视频的实现方法
  2. 怎么使用python爬取B站千万级数据

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python

上一篇:海外服务器选择攻略是什么

下一篇:springboot整合quartz定时任务框架的方法是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》