MongoDB 分片技术概览与适用场景
MongoDB 分片通过将数据按片键（Shard Key）分布到多个分片（Shard）上来提供水平扩展能力，从而提升读写吞吐与存储容量，同时配合副本集实现高可用。典型适用场景包括：单节点磁盘或内存不足、活跃数据集超出单机内存、写 IOPS 超过单机能力、需要跨地域或按业务域隔离数据等。分片是 MongoDB 应对海量数据与高并发的核心架构之一。
架构与核心概念
- 组件与职责
- Shard（分片）：存储实际数据，生产环境通常以副本集形式部署，避免单点故障。
- Config Server（配置服务器）：保存集群元数据（如 chunk 分布、路由规则），生产环境必须为副本集，推荐3 节点。
- mongos（路由进程）：客户端统一入口，依据片键将请求路由到目标分片，并可合并多分片查询结果。
- 数据分布与均衡
- 数据以chunk（数据块）为单位切分，默认chunk size 为 64MB；当 chunk 超过阈值会触发split（分裂）。
- Balancer（均衡器）运行于Primary Config Server上，负责在分片间迁移 chunk 以保持数据分布均衡。
- 片键与索引约束
- 片键用于路由与分布，必须满足：片键不可变、分片集合必须存在以片键开头的索引、片键大小限制512 bytes；对未分片的集合插入文档时若缺少片键将报错。
分片策略与片键选择
- 范围分片（Range Sharding）
- 按片键值的范围切分数据，利于范围查询与点查；但若片键呈单调递增/递减（如时间戳、自增 ID），容易产生热点与不均衡。
- 哈希分片（Hash Sharding）
- 对片键计算哈希值后分片，数据分布更均匀、写入更分散；但不利于高效的范围查询（需 scatter-gather）。
- 复合片键与 Zone（区域）
- 通过复合片键（如“低基数业务键 + 单调递增键”）在分布与查询间折中；Zone可将指定键范围映射到指定分片，用于冷热数据分层、就近部署等。
- 片键变更能力（版本演进）
- 4.2 及以前：片键一旦设置不可修改。
- 4.4：可用 refineCollectionShardKey 为片键添加后缀字段以优化分布。
- 5.0：可用 reshardCollection 完全更换集合片键（重分片）。
在 CentOS 上的最小可用部署步骤
- 环境准备
- 准备多台 CentOS 7/8 主机，安装相同版本的 MongoDB；打通节点间通信（常见端口：27017/27018/27019 等）；建议为各组件创建专用数据与日志目录。
- 部署配置服务器副本集（CSRS）
- 启动 3 个配置服务器实例（示例端口：27019），并初始化为副本集（示例名：configReplSet）。
- 示例（任一节点执行初始化）：
- rs.initiate({
_id: “configReplSet”,
configsvr: true,
members: [
{ _id: 0, host: “cfg1:27019” },
{ _id: 1, host: “cfg2:27019” },
{ _id: 2, host: “cfg3:27019” }
]
})
- 部署分片副本集
- 每个分片为副本集（示例：shard1、shard2）。启动各分片 mongod（常见端口：27018），并初始化副本集。
- 示例（shard1 初始化）：
- rs.initiate({
_id: “shard1”,
members: [
{ _id: 0, host: “s1a:27018” },
{ _id: 1, host: “s1b:27018” },
{ _id: 2, host: “s1c:27018” }
]
})
- 启动 mongos 路由
- 启动一个或多个 mongos，连接配置服务器副本集（示例端口：27017）：
- mongos --configdb configReplSet/cfg1:27019,cfg2:27019,cfg3:27019 --port 27017
- 初始化集群与启用分片
- 连接 mongos（mongo --port 27017），添加分片：
- sh.addShard(“shard1/s1a:27018,s1b:27018,s1c:27018”)
- sh.addShard(“shard2/s2a:27018,s2b:27018,s2c:27018”)
- 启用数据库分片并指定集合片键：
- sh.enableSharding(“mydb”)
- sh.shardCollection(“mydb.mycoll”, { “shardKey”: 1 }) // 范围分片示例
- // 或 sh.shardCollection(“mydb.mycoll”, { “shardKey”: “hashed” }) // 哈希分片示例
- 验证与运维
- 查看集群状态：sh.status()
- 监控与维护：使用 mongostat 等工具观察吞吐与迁移；可按需调整 Balancer 活动窗口 在业务低峰期执行均衡。
生产实践与注意事项
- 高可用与规模
- Config Server 与每个 Shard 均使用副本集；mongos 可多实例部署，前置于应用或负载均衡之后。
- 片键设计
- 避免单调递增片键导致热点；需要范围查询优先范围分片，追求写入分散与均衡优先哈希分片；必要时使用复合片键或 Zone 实现业务目标。
- 变更与重分片
- 片键调整优先考虑业务可演进性；确需更换片键时，利用 4.4 refineCollectionShardKey 或 5.0 reshardCollection 在可控窗口内执行，并提前评估资源与停机影响。
- 运维窗口与资源
- 开启分片、创建索引、重分片与大规模迁移会占用实例资源；建议在低峰期进行，并合理设置 Balancer 活动窗口 与监控告警。