Python怎么爬取B站排行榜视频播放量和视频评论量等数据

发布时间:2021-11-25 09:28:58 作者:iii
来源:亿速云 阅读:853

本篇内容主要讲解“Python怎么爬取B站排行榜视频播放量和视频评论量等数据”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么爬取B站排行榜视频播放量和视频评论量等数据”吧!

项目背景

小Q发现小P每天在B站的时间特别长,他想和小P深入地交流一下B站,可小Q前段时间学业压力很大的,一直没看B站,他想知道现在B站流行什么,那你能帮帮他吗?

项目目标

实现爬取当前B站排行榜的内容(爬取任一榜单即可),要求包括视频排名视频BV号,视频封面,视频播放量,视频评论量, up主姓名

目标网页分析

获取数据内容

Python怎么爬取B站排行榜视频播放量和视频评论量等数据


开发者工具一看,好家伙,就这?


当看到这样的情况,是真的不用分析什么了,直接就可以从头到尾开始写代码了

直接就是爬虫三部曲走起了。

1、模拟浏览器请求网站获得网页数据;
2、解析网页数据,提取想要的内容;
3、保存数据

完整代码

import requests
import parsel
import csv
f = open('B站排行榜数据.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '播放量', '弹幕量', '作者', '综合得分', '视频地址'])
csv_writer.writeheader()
url = 'https://www.bilibili.com/v/popular/rank/all?spm_id_from=333.851.b_7072696d61727950616765546162.3'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
lis = selector.css('.rank-list li')
dit = {}
for li in lis:
    title = li.css('.info a::text').get()    # 标题
    bf_info = li.css('div.content > div.info > div.detail > span:nth-child(1)::text').get().strip()     # 播放量
    dm_info = li.css('div.content > div.info > div.detail > span:nth-child(2)::text').get().strip()     # 弹幕量
    bq_info = li.css('div.content > div.info > div.detail > a > span::text').get().strip()      # 作者
    score = li.css('.pts div::text').get()      # 综合得分
    page_url = li.css('.img a::attr(href)').get()  # 视频地址
    dit = {
        '标题': title,
        '播放量': bf_info,
        '弹幕量': dm_info,
        '作者': bq_info,
        '综合得分': score,
        '视频地址': page_url,
    }
    csv_writer.writerow(dit)
    print(dit)

Python怎么爬取B站排行榜视频播放量和视频评论量等数据

到此,相信大家对“Python怎么爬取B站排行榜视频播放量和视频评论量等数据”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

推荐阅读:
  1. Python爬取B站视频的实现方法
  2. 怎么使用python爬取B站千万级数据

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python

上一篇:oracle非归档模式,没有备份,直接拔电导致Undo损坏怎么办

下一篇:.NET Framework匿名类的操作方法是怎样的

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》