Python爬虫中AES的案例分析

# Python爬虫中AES的案例分析

## 引言

在网络爬虫开发中，数据加密与解密是常见的反爬对抗场景。AES（Advanced Encryption Standard）作为对称加密算法的代表，被广泛应用于网站数据保护。本文将通过具体案例，分析Python爬虫如何应对AES加密数据，包含逆向工程思路和实战代码示例。

---

## 一、AES加密基础

### 1.1 算法特点
- **对称加密**：加密/解密使用相同密钥
- **块加密**：固定长度（128bit）数据块处理
- **工作模式**：常见CBC/ECB/GCM等模式
- **填充方式**：PKCS5/PKCS7等

### 1.2 典型应用场景
1. 接口参数加密
2. 本地存储数据加密
3. 网络传输数据保护

---

## 二、逆向分析案例

### 2.1 案例背景
分析某电商网站商品列表接口，发现返回数据为加密字符串：
```python
import requests
response = requests.get("https://example.com/api/products")
print(response.text)  # 输出：U2FsdGVkX1+2ZJj7V4Q7N3X5w1p9z...

2.2 密钥定位

通过浏览器开发者工具分析： 1. 搜索关键词：查找encrypt/decrypt/AES等关键字 2. 调用堆栈：跟踪XHR请求的调用过程 3. 全局断点：在CryptoJS等加密库设置断点

最终在common.js中发现关键代码：

function decrypt(data) {
    var key = CryptoJS.enc.Utf8.parse("7a326c416e675265");
    var iv = CryptoJS.enc.Utf8.parse("1234567890123456");
    return CryptoJS.AES.decrypt(data, key, {iv: iv}).toString();
}

2.3 参数确认

• 加密模式：CBC（需要IV向量）
• 密钥长度：128bit（16字节）
• 填充方式：PKCS7（CryptoJS默认）

三、Python解密实现

3.1 安装依赖库

pip install pycryptodome

3.2 解密代码实现

from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
import base64

def decrypt_data(encrypted_data):
    key = b"7a326c416e675265"  # 与JS代码一致
    iv = b"1234567890123456"   # 初始化向量
    
    # Base64解码
    encrypted_bytes = base64.b64decode(encrypted_data)
    
    # 创建解密器
    cipher = AES.new(key, AES.MODE_CBC, iv)
    
    # 解密并去除填充
    decrypted_data = unpad(cipher.decrypt(encrypted_bytes), AES.block_size)
    
    return decrypted_data.decode('utf-8')

# 示例使用
encrypted_str = "U2FsdGVkX1+2ZJj7V4Q7N3X5w1p9z..."
print(decrypt_data(encrypted_str))

3.3 动态密钥处理

当密钥动态生成时，需要逆向密钥生成逻辑：

# 假设密钥通过日期生成
import hashlib
from datetime import datetime

def get_dynamic_key():
    today = datetime.now().strftime("%Y-%m-%d")
    return hashlib.md5(today.encode()).hexdigest()[:16]

四、常见问题与解决方案

4.1 报错处理

4.2 性能优化

1. 使用aiohttp+asyncio实现异步解密
2. 对解密结果进行缓存
3. 多线程处理批量数据

五、进阶技巧

5.1 内存dump分析

当密钥被混淆时，可使用： - Chrome Memory Tab - process.memory()（Node.js环境） - frida动态注入

5.2 WebAssembly分析

现代网站可能使用WASM进行加密：

import wasmer

with open('encrypt.wasm', 'rb') as f:
    wasm_bytes = f.read()

module = wasmer.Module(wasm_bytes)
instance = wasmer.Instance(module)

结语

AES解密是爬虫开发中的高频需求，核心在于： 1. 准确识别加密参数（key/iv/mode） 2. 完美复现加密逻辑 3. 处理各类边界情况

随着网站防护升级，建议持续关注WebAssembly、OB混淆等新技术动向。完整代码示例已上传至GitHub仓库（示例链接）。

声明：本文仅用于技术学习，请遵守相关法律法规。 “`

注：实际文章可根据具体案例补充以下内容： 1. 更详细的逆向过程截图 2. 性能测试数据对比 3. 不同工作模式（如GCM）的处理方案 4. 与RSA等非对称加密的混合场景