Ubuntu Python爬虫项目如何搭建

以下是在Ubuntu上搭建Python爬虫项目的步骤：

1. 环境准备

   • 更新系统：sudo apt update && sudo apt upgrade -y
   • 安装Python和pip：sudo apt install python3 python3-pip
   • 创建虚拟环境（推荐）：
     python3 -m venv .venv
source .venv/bin/activate

2. 安装爬虫依赖库

   • 基础库：pip install requests beautifulsoup4 lxml
   • 可选库：Selenium（处理动态页面）、Scrapy（框架级爬虫）

3. 编写爬虫代码

   • 创建Python文件（如spider.py），示例代码：

     import requests  
     from bs4 import BeautifulSoup  
     url = 'http://example.com'  
     response = requests.get(url)  
     if response.status_code == 200:  
         soup = BeautifulSoup(response.text, 'html.parser')  
         print(soup.title.string)  
     

4. 运行爬虫

   • 激活虚拟环境后执行：python spider.py

5. 进阶配置（可选）

   • 反爬虫策略：添加代理IP、随机请求头、延迟请求。
   • 数据存储：连接MySQL/Redis存储数据。
   • 任务调度：使用Cron定时任务或Celery分布式调度。

6. 部署方式

   • 本地直接运行：适合开发测试。
   • 服务器部署：通过SSH上传代码，配置系统服务（如systemd）实现开机自启。

注意事项：遵守目标网站robots.txt规则，避免高频请求，优先使用框架（如Scrapy）提升效率。

参考来源：