要使用BeautifulSoup遍历DOM树,首先需要导入BeautifulSoup库和requests库。
from bs4 import BeautifulSoup
import requests
然后,使用requests库发送一个HTTP请求获取网页内容,并将其传递给BeautifulSoup解析。
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
接下来,可以使用BeautifulSoup提供的方法来遍历DOM树。比如,可以使用find()方法查找指定的标签,使用find_all()方法查找所有符合条件的标签,使用children属性遍历子节点,使用descendants属性遍历所有子孙节点等。
# 查找所有<a>标签
for link in soup.find_all('a'):
print(link.get('href'))
# 遍历子节点
for child in soup.body.children:
print(child)
# 遍历所有子孙节点
for descendant in soup.descendants:
print(descendant)
通过以上方法,可以方便地遍历DOM树,并提取需要的信息。需要注意的是,BeautifulSoup提供了多种方法来遍历DOM树,可以根据具体需求选择合适的方法。