要用Python爬取多个网页内容,可以使用requests库来发送HTTP请求,然后使用BeautifulSoup库来解析HTML页面。以下是一个示例代码,用于爬取多个网页的标题和正文内容:
import requests
from bs4 import BeautifulSoup
# 定义要爬取的多个网页URL列表
urls = [
'http://www.example.com/page1',
'http://www.example.com/page2',
'http://www.example.com/page3'
]
for url in urls:
# 发送HTTP GET请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析HTML页面
soup = BeautifulSoup(response.content, 'html.parser')
# 获取网页标题
title = soup.title.string
# 获取网页正文内容
content = soup.find('body').get_text()
# 打印网页标题和正文内容
print('标题:', title)
print('正文内容:', content)
上述代码中,首先定义了要爬取的多个网页URL列表。然后使用循环遍历每个URL,发送HTTP GET请求获取网页内容。接着使用BeautifulSoup库解析HTML页面,获取网页标题和正文内容。最后打印出标题和正文内容。
请注意,代码中使用的是requests库来发送HTTP请求,所以需要先安装这个库。可以使用pip命令进行安装:
pip install requests
同样地,还需要安装BeautifulSoup库:
pip install beautifulsoup4
需要根据自己的需求对代码进行适当的修改,例如处理异常、保存数据等。