Linux环境下MongoDB的故障排查

Linux环境下MongoDB故障排查指南

1. 日志优先：快速定位问题根源

日志是故障排查的核心线索，Linux下MongoDB的日志主要分布在两个位置：

• 系统日志：通过journalctl -u mongod.service查看与MongoDB相关的系统级错误（如服务启动失败、权限问题）；
• MongoDB自身日志：默认路径为/var/log/mongodb/mongod.log（可通过cat /etc/mongod.conf | grep logpath确认），使用tail -f /var/log/mongodb/mongod.log实时追踪最新日志，重点关注“ERROR”“FAILED”等关键词。

2. 服务状态检查：确认MongoDB是否运行

使用systemctl status mongod.service命令检查服务状态：

• 若显示“active (running)”，说明服务正常；
• 若显示“inactive (dead)”或“failed”，尝试启动服务：sudo systemctl start mongod.service；
• 若启动失败，需结合日志分析具体原因（如配置错误、端口占用）。

3. 配置文件验证：排除配置错误

MongoDB的主配置文件通常为/etc/mongod.conf，需重点检查以下关键配置项：

• 端口：net.port（默认27017），确保未被其他进程占用；
• 数据目录：storage.dbPath（如/var/lib/mongodb），需存在且具备正确权限；
• 日志路径：systemLog.path，确保目录可写；
• 绑定IP：net.bindIp（如0.0.0.0允许远程连接，127.0.0.1仅本地连接）；
• 认证设置：security.authorization（若启用，需提前创建用户）。
  可使用mongod --config /etc/mongod.conf --fork测试配置文件语法是否正确。

4. 权限问题：解决“Access Denied”或“Cannot open file”

MongoDB对数据目录和日志文件的权限要求严格，常见错误包括“Permission denied”“Cannot open file”：

• 数据目录权限：将数据目录所有者改为mongod用户（或运行服务的用户），执行sudo chown -R mongod:mongod /var/lib/mongodb（路径以配置文件为准）；
• 日志文件权限：确保日志目录可写，如sudo chown -R mongod:mongod /var/log/mongodb；
• SELinux设置：若系统启用SELinux，可临时设置为permissive模式测试（setenforce 0），或通过audit2allow生成自定义规则。

5. 端口与网络：解决“Connection refused”或“Timeout”

若出现连接问题，需检查端口和网络配置：

• 端口占用：使用ss -tuln | grep 27017查看27017端口是否被MongoDB占用，若有其他进程占用，通过kill -9 <PID>终止；
• 防火墙设置：开放27017端口（CentOS用firewall-cmd --permanent --add-port=27017/tcp，Ubuntu用ufw allow 27017），并重载防火墙；
• 网络连通性：通过ping <MongoDB服务器IP>测试网络连通性，telnet <IP> 27017测试端口是否可达。

6. 磁盘空间与资源：解决“Disk full”或“Too many open files”

• 磁盘空间：使用df -h检查数据目录所在磁盘的剩余空间，若使用率超过80%，需清理旧数据（如归档日志、备份文件）；
• 文件描述符限制：MongoDB高并发时可能因文件描述符不足报错“Too many open files”，需调整ulimit：
  编辑/etc/security/limits.conf，添加mongod soft nofile 65535和mongod hard nofile 65535；
  编辑/lib/systemd/system/mongod.service，在[Service]段添加LimitNOFILE=65535，然后执行systemctl daemon-reload。

7. 性能诊断：识别慢查询与资源瓶颈

使用MongoDB自带工具实时监控性能：

• mongostat：每秒刷新操作次数、响应时间等指标，如mongostat --host <IP> --port 27017；
• mongotop：按集合统计读写时间，如mongotop --host <IP> --port 27017；
• db.serverStatus()：获取实例详细状态（连接数、内存使用、锁等待等），在mongo shell中执行db.serverStatus()；
• 日志分析：使用mtools工具包（pip3 install mtools）分析慢查询，如mlogfilter mongod.log --slow 1000 | mplotqueries --type scatter。

8. 存储引擎故障：修复WiredTiger错误

若日志中出现“WiredTiger error”（如数据文件损坏、磁盘空间不足），需进行存储引擎修复：

• 数据恢复：停止MongoDB服务，执行mongod --repair --dbpath /var/lib/mongodb（路径以配置文件为准）；
• 备份数据：修复前务必备份数据目录，避免二次损坏；
• 预防措施：定期备份（如使用mongodump），监控磁盘空间。

9. 高级故障：复制集与分片问题

• 复制集异常：若出现“Replica set not initialized”“not reachable”，需检查节点状态（rs.status()），确保多数节点在线，修复网络分区；
• 分片集群问题：若出现“sharding state not ok”，需检查配置服务器（configsvr）状态，确保分片平衡（sh.status()）。

10. 预防与监控：减少故障发生

• 启用监控：使用Prometheus+Grafana监控MongoDB的关键指标（如CPU、内存、连接数、QPS）；
• 定期维护：每月清理旧数据，每季度测试备份恢复流程；
• 版本升级：保持MongoDB版本最新，修复已知漏洞（如通过yum update mongod或apt upgrade mongodb）。