总体结论
在Ubuntu上，PyTorch 的资源占用主要取决于模型规模、批量大小、精度与硬件。训练/推理大型模型（如 Transformer、LLM）时，显存与内存消耗会显著上升；但在合理设置（如自动混合精度 AMP、减小批量、优化数据加载）后，可在保证精度的同时明显降低占用并提升速度。以实际案例看：使用 AMP 训练 ViT-L-16 时，显存由约26.84 GB降至约18.21 GB，训练时长由约17.88 分钟缩短至约3.45 分钟；而 Llama 2 70B 在 FP16 下需约140 GB显存，量化到4-bit约35 GB、到约3-bit约26.25 GB，体现了模型与精度对资源占用近乎线性的影响。
影响资源消耗的关键因素
- 模型与批量：更大的模型（层数/隐藏维度/注意力头数）与更大的 batch size 会线性推高显存/内存与计算量。
- 精度格式：FP32 > FP16/BF16 > 8-bit/4-bit 量化，精度越低，占用越小，但需关注数值稳定性与精度损失。
- 算子与内存访问：大量逐点算子或小核运算易触发内存带宽瓶颈，此时提升算力（FLOPS）帮助有限，应优先做算子融合与内存访问优化。
- 数据管道：DataLoader 的 num_workers、pin_memory 等会显著影响 CPU/内存与 GPU 之间的吞吐与占用。
- 并行与分片：模型并行、张量/优化器状态分片可显著降低单卡显存峰值，但会增加通信与工程复杂度。
以上因素共同决定“高不高”，优化需围绕瓶颈定位与权衡精度/速度/显存展开。
快速自检与优化清单
- 先定位瓶颈：观察 GPU 利用率（如 nvidia-smi dmon）、CPU/内存与数据吞吐，判断是计算受限、带宽受限还是数据 IO/额外开销受限，再对症优化。
- 优先使用 AMP：在 PyTorch 中启用自动混合精度（FP16/BF16），通常可同时降低显存占用并加速训练，且对精度影响可控。
- 降低峰值与稳定训练：适当减小 batch size、使用梯度累积；选择更精简的优化器与学习率策略（如 1CycleLR）以提升收敛效率。
- 优化数据管道：设置 DataLoader(num_workers>0, pin_memory=True)，并避免训练循环中频繁的 tensor.cpu()/cuda() 往返拷贝。
- 分布式与分片：在单卡显存不足时，采用分布式训练与张量/优化器状态分片；对超大模型可结合模型并行进一步扩展。
- 大模型推理量化：对 LLM 推理可用 4-bit/3-bit 量化（如 ExLlamaV2 的混合精度量化）以在有限显存（如24 GB）下运行更大模型。
以上做法在科研与工程中被反复验证，能在多数场景下显著降低资源占用并提升吞吐。
在Ubuntu上的实践建议
- 环境匹配：确保 PyTorch 与 CUDA/cuDNN 版本匹配，避免因版本不兼容导致的额外开销或性能回退。
- 监控与调参：使用 nvidia-smi、nvtop 等工具持续观察显存/功耗/利用率，围绕瓶颈迭代 batch、workers、精度与并行策略。
- 部署侧优化：在边缘/嵌入式设备（如 Jetson）上结合 TensorRT 与 FP16 推理，可在受限硬件上获得更好的吞吐与能效。
这些步骤有助于在 Ubuntu 上获得稳定且高效的 PyTorch 运行表现。