怎么用requests爬取漂亮照片

在当今的互联网时代，图片已经成为了信息传播的重要载体。无论是社交媒体、新闻网站还是个人博客，图片都扮演着不可或缺的角色。对于开发者来说，如何高效地从网络上获取这些图片，成为了一个常见的需求。本文将详细介绍如何使用Python的requests库来爬取网络上的漂亮照片。

1. 准备工作

在开始之前，我们需要确保已经安装了requests库。如果还没有安装，可以通过以下命令进行安装：

pip install requests

此外，我们还需要安装BeautifulSoup库来解析HTML文档，以及os库来处理文件路径。BeautifulSoup可以通过以下命令安装：

pip install beautifulsoup4

2. 分析目标网站

在爬取图片之前，我们需要先分析目标网站的结构。假设我们要从一个图片分享网站（例如Unsplash）上爬取图片。首先，我们需要找到图片的URL以及图片的存储路径。

2.1 查看网页源代码

打开目标网站，右键点击页面，选择“查看网页源代码”或“检查元素”。通过查看源代码，我们可以找到图片的URL以及图片所在的HTML标签。

例如，在Unsplash上，图片通常位于<img>标签中，并且src属性包含了图片的URL。

2.2 确定图片URL的规律

有些网站的图片URL可能遵循一定的规律，例如：

• 图片URL可能包含图片的ID或名称。
• 图片URL可能位于特定的路径下。

通过分析这些规律，我们可以编写代码来批量获取图片URL。

3. 编写爬虫代码

3.1 获取网页内容

首先，我们需要使用requests库来获取网页的HTML内容。以下是一个简单的示例：

import requests

url = 'https://unsplash.com'
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")

3.2 解析HTML内容

接下来，我们使用BeautifulSoup来解析HTML内容，并提取出图片的URL。以下是一个示例：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

# 查找所有的<img>标签
img_tags = soup.find_all('img')

# 提取图片的URL
img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]

for img_url in img_urls:
    print(img_url)

3.3 下载图片

获取到图片的URL后，我们可以使用requests库来下载图片。以下是一个示例：

import os

# 创建一个目录来保存图片
if not os.path.exists('images'):
    os.makedirs('images')

for i, img_url in enumerate(img_urls):
    try:
        # 发送GET请求获取图片内容
        img_response = requests.get(img_url)
        
        # 检查请求是否成功
        if img_response.status_code == 200:
            # 保存图片到本地
            with open(f'images/image_{i}.jpg', 'wb') as f:
                f.write(img_response.content)
            print(f"Downloaded image_{i}.jpg")
        else:
            print(f"Failed to download image {i}. Status code: {img_response.status_code}")
    except Exception as e:
        print(f"Error downloading image {i}: {e}")

3.4 处理相对路径

有些网站的图片URL可能是相对路径，例如/images/photo.jpg。在这种情况下，我们需要将相对路径转换为绝对路径。以下是一个示例：

from urllib.parse import urljoin

base_url = 'https://unsplash.com'

for i, img_url in enumerate(img_urls):
    # 将相对路径转换为绝对路径
    full_img_url = urljoin(base_url, img_url)
    
    try:
        img_response = requests.get(full_img_url)
        
        if img_response.status_code == 200:
            with open(f'images/image_{i}.jpg', 'wb') as f:
                f.write(img_response.content)
            print(f"Downloaded image_{i}.jpg")
        else:
            print(f"Failed to download image {i}. Status code: {img_response.status_code}")
    except Exception as e:
        print(f"Error downloading image {i}: {e}")

4. 处理分页

如果目标网站有分页功能，我们需要处理多个页面的图片。通常，分页的URL会包含页码或偏移量。我们可以通过循环来遍历所有页面，并重复上述步骤来获取图片。

以下是一个处理分页的示例：

base_url = 'https://unsplash.com'

for page in range(1, 6):  # 假设我们要爬取前5页
    url = f'{base_url}?page={page}'
    response = requests.get(url)
    
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, 'html.parser')
        img_tags = soup.find_all('img')
        img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]
        
        for i, img_url in enumerate(img_urls):
            full_img_url = urljoin(base_url, img_url)
            
            try:
                img_response = requests.get(full_img_url)
                
                if img_response.status_code == 200:
                    with open(f'images/page_{page}_image_{i}.jpg', 'wb') as f:
                        f.write(img_response.content)
                    print(f"Downloaded page_{page}_image_{i}.jpg")
                else:
                    print(f"Failed to download image {i} on page {page}. Status code: {img_response.status_code}")
            except Exception as e:
                print(f"Error downloading image {i} on page {page}: {e}")
    else:
        print(f"Failed to retrieve page {page}. Status code: {response.status_code}")

5. 处理反爬虫机制

有些网站可能会采取反爬虫措施，例如限制IP访问频率、要求用户登录等。为了应对这些情况，我们可以采取以下措施：

5.1 设置请求头

有些网站会检查请求头中的User-Agent字段，以判断请求是否来自浏览器。我们可以通过设置请求头来模拟浏览器请求：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)

5.2 使用代理

如果IP被限制，我们可以使用代理来隐藏真实IP：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}

response = requests.get(url, proxies=proxies)

5.3 设置请求间隔

为了避免频繁请求导致IP被封禁，我们可以设置请求间隔：

import time

for page in range(1, 6):
    url = f'{base_url}?page={page}'
    response = requests.get(url, headers=headers)
    
    if response.status_code == 200:
        # 处理图片下载
        pass
    else:
        print(f"Failed to retrieve page {page}. Status code: {response.status_code}")
    
    # 设置请求间隔
    time.sleep(5)

6. 总结

通过本文的介绍，我们学习了如何使用Python的requests库来爬取网络上的漂亮照片。从分析目标网站的结构，到编写爬虫代码，再到处理分页和反爬虫机制，我们一步步掌握了爬取图片的全过程。

需要注意的是，爬取网络数据时应遵守相关法律法规和网站的使用条款，避免对目标网站造成不必要的负担。希望本文能帮助你在合法合规的前提下，高效地获取所需的图片资源。