Python怎么爬取招聘数据并进行分析

# Python怎么爬取招聘数据并进行分析

在当今数据驱动的时代，招聘数据的爬取与分析能帮助求职者了解行业趋势，也能为企业提供人才竞争洞察。本文将介绍如何用Python爬取主流招聘网站数据，并进行基础分析。

---

## 一、爬取招聘数据

### 1. 准备工作
- 安装依赖库：
  ```python
  pip install requests beautifulsoup4 pandas selenium

• 目标网站选择（以智联招聘为例）
• 检查网站的robots.txt确认爬取合法性

2. 数据爬取实现

方法一：Requests+BeautifulSoup（静态页面）

import requests
from bs4 import BeautifulSoup

url = "https://sou.zhaopin.com/?jl=北京&kw=Python"
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

jobs = []
for item in soup.select('.joblist-box__item'):
    title = item.select_one('.job-name').text.strip()
    company = item.select_one('.company-name').text.strip()
    salary = item.select_one('.salary').text.strip()
    jobs.append([title, company, salary])

方法二：Selenium（动态页面）

from selenium import webdriver

driver = webdriver.Chrome()
driver.get(url)
jobs = driver.find_elements_by_css_selector('.joblist-box__item')
# 后续解析逻辑类似...

二、数据清洗与存储

1. 数据清洗

import pandas as pd

df = pd.DataFrame(jobs, columns=['职位','公司','薪资'])
# 处理薪资范围（示例：15K-30K → 取平均值）
df['平均薪资'] = df['薪资'].apply(lambda x: 
    sum([float(i) for i in x.replace('K','').split('-')])/2)

2. 数据存储

# 保存为CSV
df.to_csv('jobs_data.csv', index=False)

# 或存储到数据库（SQLite示例）
import sqlite3
conn = sqlite3.connect('jobs.db')
df.to_sql('jobs', conn)

三、数据分析与可视化

1. 基础分析

print(df.describe())  # 数值统计
print(df['公司'].value_counts().head(10))  # 招聘最多公司TOP10

2. 可视化分析

import matplotlib.pyplot as plt

# 薪资分布直方图
df['平均薪资'].plot(kind='hist', bins=20)
plt.title('Python岗位薪资分布')
plt.xlabel('薪资(K)')
plt.show()

# 公司招聘数量饼图
df['公司'].value_counts()[:5].plot.pie(autopct='%1.1f%%')
plt.title('招聘量TOP5公司占比')

四、注意事项

1. 反爬机制应对：

   • 设置随机请求间隔（time.sleep(random.uniform(1,3))）
   • 使用代理IP池
   • 考虑使用Scrapy框架

2. 法律合规：

   • 控制请求频率
   • 不爬取个人隐私信息
   • 遵守网站服务条款

3. 数据分析扩展：

   • 结合NLP分析职位要求关键词
   • 构建薪资预测模型
   • 地域维度交叉分析

通过以上方法，我们可以系统性地获取并分析招聘数据，为职业决策或企业招聘策略提供数据支持。实际应用中建议根据目标网站结构调整爬虫逻辑，并持续优化数据分析维度。 “`

（全文约750字，包含代码示例和结构化说明）