jsoup框架如何使用

发布时间：2023-05-09 17:10:44 作者：iii
来源：亿速云阅读：393

Jsoup框架如何使用

简介

Jsoup 是一个用于处理 HTML 的 Java 库。它提供了一个非常方便的 API，用于提取和操作数据，使用 DOM、CSS 和类似 jQuery 的方法。Jsoup 实现了 WHATWG HTML5 规范，并将 HTML 解析为与现代浏览器相同的 DOM。

安装与配置

Maven 依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version>
</dependency>

Gradle 依赖

implementation 'org.jsoup:jsoup:1.14.3'

手动下载

你可以从 Jsoup 官方网站下载最新的 JAR 文件，并将其添加到你的项目中。

基本用法

解析HTML文档

String html = "<html><head><title>First parse</title></head>"
  + "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

选择元素

Element element = doc.select("p").first();

获取元素内容

String text = element.text();
String html = element.html();

修改元素内容

element.text("New text");
element.html("<b>New HTML</b>");

添加和删除元素

element.append("<p>New paragraph</p>");
element.prepend("<p>New paragraph</p>");
element.remove();

高级用法

处理表单

Connection.Response loginForm = Jsoup.connect("http://example.com/login")
    .method(Connection.Method.GET)
    .execute();

Document loginDoc = loginForm.parse();
Element form = loginDoc.select("form").first();
String csrfToken = form.select("input[name=csrf_token]").val();

Connection.Response loginResponse = Jsoup.connect("http://example.com/login")
    .data("csrf_token", csrfToken)
    .data("username", "myUsername")
    .data("password", "myPassword")
    .cookies(loginForm.cookies())
    .method(Connection.Method.POST)
    .execute();

处理Cookies

Connection.Response response = Jsoup.connect("http://example.com")
    .method(Connection.Method.GET)
    .execute();

Map<String, String> cookies = response.cookies();

处理重定向

Connection.Response response = Jsoup.connect("http://example.com")
    .followRedirects(true)
    .execute();

处理代理

Connection.Response response = Jsoup.connect("http://example.com")
    .proxy("proxy.example.com", 8080)
    .execute();

处理SSL

Connection.Response response = Jsoup.connect("https://example.com")
    .validateTLSCertificates(false)
    .execute();

实战案例

爬取网页数据

Document doc = Jsoup.connect("http://example.com").get();
Elements newsHeadlines = doc.select("#mp-itn b a");
for (Element headline : newsHeadlines) {
    System.out.println(headline.attr("title"));
    System.out.println(headline.absUrl("href"));
}

自动化测试

Document doc = Jsoup.connect("http://example.com").get();
Element form = doc.select("form").first();
Element input = form.select("input[name=username]").first();
input.val("testuser");

数据清洗

String dirtyHTML = "<p><a href='http://example.com/'><b>Example</b></a></p>";
String cleanHTML = Jsoup.clean(dirtyHTML, Whitelist.basic());

常见问题与解决方案

问题1：如何处理动态加载的内容？

解决方案：使用 Selenium 或其他浏览器自动化工具来加载页面，然后将页面源代码传递给 Jsoup 进行解析。

问题2：如何处理复杂的表单？

解决方案：使用 Jsoup 的 Connection API 来模拟表单提交，并处理 CSRF 令牌等安全机制。

问题3：如何处理大量数据？

解决方案：使用多线程或分布式爬虫框架来提高数据处理的效率。

总结

Jsoup 是一个功能强大且易于使用的 Java 库，适用于各种 HTML 处理任务。通过本文的介绍，你应该能够掌握 Jsoup 的基本用法和高级技巧，并能够将其应用到实际项目中。希望本文对你有所帮助，祝你在使用 Jsoup 的过程中取得成功！