python

怎么用python爬虫房屋信息

小亿
95
2023-10-19 02:38:13
栏目: 编程语言

使用Python编写爬虫可以轻松爬取房屋信息,以下是一个简单的示例代码:

import requests
from bs4 import BeautifulSoup
# 定义爬取房屋信息的函数
def get_house_info(url):
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.content, 'html.parser')
# 使用CSS选择器定位房屋信息的元素
house_list = soup.select('.house-list li')
# 遍历每个房屋信息元素,提取房屋标题和价格
for house in house_list:
title = house.select_one('.title').text.strip()
price = house.select_one('.price').text.strip()
print(f'房屋标题:{title},价格:{price}')
# 获取下一页的链接
next_page = soup.select_one('.next')
if next_page:
next_url = next_page['href']
# 递归调用自身爬取下一页的房屋信息
get_house_info(next_url)
# 调用函数开始爬取
get_house_info('http://example.com/house-list')

以上代码使用了requests库发送HTTP请求获取网页内容,并使用BeautifulSoup库解析网页内容。通过CSS选择器定位到房屋信息的元素,并提取房屋标题和价格。如果有下一页的链接,则递归调用自身爬取下一页的房屋信息。

请注意,网站的结构可能会有所不同,你需要根据目标网站的实际情况调整代码中的选择器和解析逻辑。此外,爬取网站的合法性和隐私保护也需要遵守相关法律法规。

0
看了该问题的人还看了