python爬虫如何遍历网页

要使用Python进行网页爬取，您可以使用第三方库requests和BeautifulSoup。以下是一个简单的示例，说明如何使用这两个库遍历网页并提取所需信息：

1. 首先，确保您已经安装了requests和beautifulsoup4库。如果尚未安装，可以使用以下命令安装：

pip install requests beautifulsoup4

2. 然后，编写一个Python脚本来遍历网页并提取信息。以下是一个示例脚本：

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://example.com'

# 向目标URL发送请求并获取响应
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 遍历网页中的所有链接
    for link in soup.find_all('a'):
        href = link.get('href')
        print(f'链接: {href}')
        
    # 遍历网页中的所有图片
    for img in soup.find_all('img'):
        src = img.get('src')
        print(f'图片: {src}')
else:
    print(f'请求失败，状态码: {response.status_code}')

这个示例脚本首先向目标URL发送请求并获取响应。然后，它使用BeautifulSoup解析HTML内容，并遍历所有链接和图片。请注意，这只是一个简单的示例，实际爬虫可能需要根据您的需求进行更复杂的处理。

在使用爬虫时，请确保遵守网站的robots.txt规则，尊重网站的版权和隐私政策，并在可能的情况下限制爬虫的访问速度，以免对网站服务器造成过大压力。