PyTorch Linux部署指南

一 环境准备与版本选择

• 确认系统与工具链：建议 Linux Ubuntu/Debian/CentOS 等发行版，安装 Python 3.8–3.11、pip/conda，并使用虚拟环境隔离依赖。
• 选择安装方式：优先使用 pip 或 conda 安装官方预编译包；如需特定 CUDA 版本，请按官方命令匹配。
• 版本匹配要点：
  • GPU 部署需同时满足 NVIDIA 驱动 ≥ CUDA 运行时需求、CUDA Toolkit/cuDNN 与 PyTorch 的 CUDA 版本一致。
  • 常见组合示例：CUDA 11.8 + cu118、CUDA 12.x + cu12x；若不确定，先选 CPU 版或咨询集群/云厂商驱动版本。
• 建议准备：基础科学计算栈（如 numpy）、推理框架（如 Flask/FastAPI）、容器化（Docker）。

二 安装 PyTorch

• 使用 pip（通用、轻量）：
  • CPU 版：pip3 install torch torchvision torchaudio
  • GPU 版（示例为 CUDA 11.8）：pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
• 使用 conda（依赖管理更强）：
  • CPU 版：conda install pytorch torchvision torchaudio cpuonly -c pytorch
  • GPU 版（示例为 CUDA 11.8）：conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
• 说明：请将 cu118 替换为与你驱动匹配的 CUDA 版本；如需其他版本，请到 PyTorch 官网获取对应命令。

三 验证安装与基础推理

• 快速验证：
  • python3 - <<'PY' import torch print("PyTorch version:", torch.__version__) print("CUDA available:", torch.cuda.is_available()) if torch.cuda.is_available(): print("CUDA device:", torch.cuda.get_device_name(0)) PY
• 最小推理示例（将 model.pth 替换为你的权重路径）：
  • python3 - <<'PY' import torch from model import MyModel # 你的模型定义 model = MyModel(); model.load_state_dict(torch.load('model.pth', map_location='cpu')) model.eval(); device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) x = torch.randn(1, 3, 224, 224).to(device) with torch.no_grad(): y = model(x) print("Output:", y.shape) PY
• 要点：GPU 推理需 model.to(device) 且输入张量在同一设备；使用 with torch.no_grad(): 关闭梯度以提升性能。

四 生产部署与服务化

• Web 服务示例（Flask）：
  • python3 - <<'PY' from flask import Flask, request, jsonify import torch, json from model import MyModel app = Flask(__name__) model = MyModel(); model.load_state_dict(torch.load('model.pth', map_location='cpu')) model.eval(); device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) @app.route('/predict', methods=['POST']) def predict(): data = request.json['input_data'] x = torch.tensor(data, dtype=torch.float32).unsqueeze(0).to(device) with torch.no_grad(): y = model(x) return jsonify(y.cpu().tolist()) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) PY
• 容器化（Docker）示例：
  • Dockerfile：
    • FROM python:3.10-slim
    • WORKDIR /app
    • COPY requirements.txt .
    • RUN pip install -r requirements.txt
    • COPY . .
    • CMD ["gunicorn", "app:app", "-b", "0.0.0.0:5000"]
  • 构建与运行：
    • docker build -t my-pytorch-app .
    • CPU：docker run -p 5000:5000 my-pytorch-app
    • GPU：docker run --gpus all -p 5000:5000 my-pytorch-app
• 建议：生产环境加入 日志、限流、异常捕获、模型版本管理、批处理/异步队列 等能力。

五 常见问题与排障

• 驱动与 CUDA 不匹配：出现如 CUDA driver version is insufficient 等错误时，升级 NVIDIA 驱动 至满足目标 CUDA 的版本，重启后再试。
• 库依赖冲突：如 ImportError: libxxx.so not found，按需安装缺失系统库（如 libopenblas-dev 等）或使用虚拟环境隔离。
• 版本兼容：若安装失败或运行异常，明确 Python/CUDA/PyTorch 三者版本，必要时固定版本号安装（如 pip install torch==2.4.0 ...）。
• 多 GPU 与分布式：训练/推理多卡可使用 torch.distributed 与 NCCL 后端；部署时结合 数据并行/张量并行 与合适的批量大小。
• 快速定位：优先检查 torch.__version__、torch.cuda.is_available()、驱动版本与容器是否启用 –gpus。