python中使用XPath爬取小说的方法

发布时间:2022-05-11 14:45:20 作者:zzz
来源:亿速云 阅读:409

这篇“python中使用XPath爬取小说的方法”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“python中使用XPath爬取小说的方法”文章吧。

说明

xpath是一种在XML文档中搜索信息的语言。

过程

1、获得浏览器中的标题和作者测试。

2、在浏览器安装xpath插件:

3、在html中找到book-mid-info:

4、找到我们想得到小说的名字、作者

即//div[@class='book-mid-info']/h5/a/txt()

实例

# 作者:
# 开发时间:2021/4/8/0008 8:24
 
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #类型转换,把str转变为class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h5/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名称和作者对应
for name,authors in zip(names,authors):
    print(name,":",authors)

以上就是关于“python中使用XPath爬取小说的方法”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注亿速云行业资讯频道。

推荐阅读:
  1. Python BeautifulSoup 爬取笔趣阁所有的小说
  2. Python实现的爬取小说爬虫功能示例

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python xpath

上一篇:java中怎么实现可重入的自旋锁

下一篇:python中的pandas怎么安装使用

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》