MongoDB配置中的内存管理怎么做

MongoDB 内存管理实用指南

一 内存去向与总体策略

• 在 WiredTiger 引擎下，内存大头是存储引擎缓存（默认上限约为物理内存的50%），其余用于客户端连接与网络缓冲、排序/聚合等临时内存、以及WiredTiger 内部管理开销。WiredTiger 会在接近阈值时主动淘汰页面，避免完全占满阻塞请求。正常情况下缓存使用率多在 ≤0.8 × cacheSizeGB，若长期出现 used ≥ 95% 或 dirty ≥ 20%，说明淘汰压力大，应扩容内存或提升磁盘 IO 能力。

二 关键配置与建议值

• 设置 WiredTiger 缓存上限
  • 配置项：storage.wiredTiger.engineConfig.cacheSizeGB
  • 建议：单机单实例可保留默认（约50% 物理内存）；若同机混部或容器化，按分配给 mongod 的内存配额设置，通常取配额的约 60%，其余留给连接、文件系统缓存与系统开销。
• 限制并发连接数
  • 配置项：net.maxIncomingConnections
  • 建议：驱动默认连接池常见为100；高并发场景请合理控制连接池与服务器端上限，避免连接与线程栈开销过大。
• 控制排序与聚合内存
  • 运行时参数（示例）：
    • db.adminCommand({setParameter:1, internalQueryExecMaxBlockingSortBytes: 104857600}) # 100MB
    • db.adminCommand({setParameter:1, internalQueryExecMaxMemoryUsageMB: 512}) # 512MB
  • 建议：避免无索引的大排序/聚合，必要时增加索引或拆分阶段处理。
• 使用 cgroups/容器内存限制
  • 场景：在 Docker/K8s 中显式设置容器内存上限，避免单实例无界增长影响同机服务。
• 操作系统层面
  • 建议保留适量 Swap（如 1–2GB 或按内存比例配置），以防内存紧张触发 OOM Killer；同时配合监控告警与扩容策略。

三 监控与告警要点

• MongoDB 内置与系统工具
  • 工具：mongostat、mongotop、以及 db.serverStatus().tcmalloc（关注 tcmalloc 的空闲与回收情况）。
  • 观察：若 cache used 长期接近 cacheSizeGB 或 dirty 持续偏高，说明淘汰压力大；若 tcmalloc.total_free_bytes 很大，说明内存被分配器暂未归还 OS，属正常缓存策略，不等同于泄漏。
• 连接与网络缓冲
  • 提示：每个 TCP 连接在 Linux 上会占用读/写缓冲（由 net.ipv4.tcp_rmem/tcp_wmem 控制），连接数或包体过大时，连接内存会显著上升；可用 ss -m 查看每连接缓冲占用。

四 常见场景与配置示例

• 单机单实例（物理内存 16GB）
  • 建议：不强制改 cacheSizeGB（默认约 8GB），仅按需限制 maxIncomingConnections，并保留适度 Swap。
• 同机多实例或容器（总内存 32GB，单实例配额 8GB）
  • 建议：设置 cacheSizeGB: 4–5（约配额的 50–60%），为连接与其他进程预留 3–4GB；同时用 cgroups 限制容器内存为 8GB 左右。
• 高并发短连接服务
  • 建议：控制驱动与服务器端连接池规模，避免连接风暴；必要时优化查询以减少排序/聚合与临时内存占用。

五 进阶调优与风险提示

• 仅在明确瓶颈时调整 tcmalloc 参数，例如：
  • db.adminCommand({setParameter:1, tcmallocAggressiveMemoryDecommit: 1})
  • db.adminCommand({setParameter:1, tcmallocReleaseRate: 5})
  • 说明：这类参数影响内存回收策略与速率，版本支持度与效果因版本/负载而异，务必先在测试环境验证并评估风险。
• 系统参数（如 vm.swappiness、vm.overcommit_memory）可按业务容忍度微调，但任何变更都应配合监控与回滚预案，避免引发稳定性问题。