Python Playwright如何使用

1. 简介

Playwright 是一个由 Microsoft 开发的自动化测试工具，支持多种浏览器（如 Chromium、Firefox 和 WebKit）的自动化操作。它提供了强大的 API，可以用于自动化浏览器操作、测试网页应用、抓取数据等。Playwright 支持多种编程语言，包括 Python、JavaScript、TypeScript 和 C#。本文将重点介绍如何在 Python 中使用 Playwright。

2. 安装

在开始使用 Playwright 之前，首先需要安装它。可以通过 pip 来安装 Playwright：

pip install playwright

安装完成后，还需要安装浏览器驱动程序。可以通过以下命令来安装：

playwright install

这个命令会自动下载并安装 Chromium、Firefox 和 WebKit 的浏览器驱动程序。

3. 基本用法

3.1 启动浏览器

使用 Playwright 的第一步是启动一个浏览器实例。以下代码展示了如何启动 Chromium 浏览器：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')
    print(page.title())
    browser.close()

在这个例子中，我们使用 sync_playwright 来同步启动 Playwright，然后通过 p.chromium.launch() 启动 Chromium 浏览器。headless=False 表示浏览器将以非无头模式运行，即可以看到浏览器的界面。

3.2 打开页面并操作

启动浏览器后，可以通过 browser.new_page() 创建一个新的页面，然后使用 page.goto() 导航到指定的 URL。以下代码展示了如何打开一个页面并获取页面的标题：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')
    print(page.title())
    browser.close()

3.3 元素操作

Playwright 提供了丰富的 API 来操作页面中的元素。以下是一些常用的操作：

• 点击元素：使用 page.click() 方法点击页面中的元素。
• 输入文本：使用 page.fill() 方法在输入框中输入文本。
• 获取元素文本：使用 page.text_content() 方法获取元素的文本内容。

以下代码展示了如何在页面中点击按钮、输入文本并获取文本内容：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')

    # 点击按钮
    page.click('button#submit')

    # 输入文本
    page.fill('input#username', 'my_username')

    # 获取文本内容
    text = page.text_content('div#message')
    print(text)

    browser.close()

3.4 等待元素

在自动化操作中，有时需要等待某个元素出现或消失。Playwright 提供了多种等待方法：

• 等待元素出现：使用 page.wait_for_selector() 方法等待某个元素出现在页面中。
• 等待元素消失：使用 page.wait_for_selector() 方法并设置 state='hidden' 来等待某个元素消失。

以下代码展示了如何等待页面中的某个元素出现：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')

    # 等待元素出现
    page.wait_for_selector('div#message')

    # 等待元素消失
    page.wait_for_selector('div#loading', state='hidden')

    browser.close()

4. 高级用法

4.1 处理弹窗

在自动化操作中，可能会遇到弹窗（如警告框、确认框等）。Playwright 提供了处理弹窗的 API：

• 处理警告框：使用 page.on('dialog') 监听弹窗事件，并通过 dialog.accept() 或 dialog.dismiss() 来处理弹窗。

以下代码展示了如何处理页面中的警告框：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')

    # 监听弹窗事件
    page.on('dialog', lambda dialog: dialog.accept())

    # 触发弹窗
    page.click('button#alert')

    browser.close()

4.2 处理 iframe

在网页中，iframe 是常见的元素。Playwright 提供了处理 iframe 的 API：

• 切换到 iframe：使用 page.frame() 方法切换到指定的 iframe。
• 在 iframe 中操作元素：切换到 iframe 后，可以像操作普通页面一样操作 iframe 中的元素。

以下代码展示了如何在 iframe 中操作元素：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')

    # 切换到 iframe
    frame = page.frame(name='my_iframe')

    # 在 iframe 中操作元素
    frame.click('button#submit')

    browser.close()

4.3 处理文件上传

在自动化操作中，文件上传是一个常见的需求。Playwright 提供了处理文件上传的 API：

• 上传文件：使用 page.set_input_files() 方法上传文件。

以下代码展示了如何上传文件：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')

    # 上传文件
    page.set_input_files('input#file', 'path/to/file.txt')

    browser.close()

4.4 处理网络请求

Playwright 提供了强大的网络请求处理能力，可以拦截和修改网络请求：

• 拦截请求：使用 page.route() 方法拦截网络请求，并可以修改请求或响应。
• 模拟响应：使用 route.fulfill() 方法模拟响应。

以下代码展示了如何拦截网络请求并模拟响应：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()

    # 拦截请求并模拟响应
    page.route('**/api/data', lambda route: route.fulfill(
        status=200,
        content_type='application/json',
        body='{"data": "mocked"}'
    ))

    page.goto('https://example.com')
    browser.close()

5. 异步操作

Playwright 不仅支持同步操作，还支持异步操作。异步操作可以提高脚本的执行效率，特别是在处理多个并发任务时。

以下代码展示了如何使用异步 API 启动浏览器并操作页面：

import asyncio
from playwright.async_api import async_playwright

async def main():
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=False)
        page = await browser.new_page()
        await page.goto('https://example.com')
        print(await page.title())
        await browser.close()

asyncio.run(main())

6. 调试与日志

在开发自动化脚本时，调试和日志记录是非常重要的。Playwright 提供了多种调试和日志记录的方法：

• 调试模式：在启动浏览器时设置 devtools=True，可以打开浏览器的开发者工具。
• 日志记录：可以通过设置环境变量 DEBUG=pw:api 来启用 Playwright 的日志记录。

以下代码展示了如何启用调试模式和日志记录：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False, devtools=True)
    page = browser.new_page()
    page.goto('https://example.com')
    print(page.title())
    browser.close()

7. 总结

Playwright 是一个功能强大且易于使用的自动化测试工具，支持多种浏览器和编程语言。通过本文的介绍，你应该已经掌握了如何在 Python 中使用 Playwright 进行浏览器自动化操作。无论是简单的页面操作，还是复杂的网络请求处理，Playwright 都能提供强大的支持。希望本文能帮助你更好地理解和使用 Playwright。