CentOS RabbitMQ故障排查方法

CentOS 上 RabbitMQ 故障排查手册

一 快速定位流程

• 服务与端口
  • 检查服务状态：systemctl status rabbitmq-server；必要时查看启动日志：journalctl -xe | tail -n 200。
  • 本地连通性：telnet localhost 5672、curl -I http://localhost:15672；远程连通性：telnet <服务器IP> 5672。
  • 端口占用：ss -lntp | egrep ':(5672|15672|4369|25672)'；若冲突，调整配置或释放端口后重启。
• 资源与告警
  • 资源阈值：rabbitmqctl status | egrep 'mem_alarm|disk_free'。
  • 磁盘空间：df -h；日志与数据目录占用：du -sh /var/log/rabbitmq /var/lib/rabbitmq。
• 配置与依赖
  • 配置文件语法：/etc/rabbitmq/rabbitmq.conf、/etc/rabbitmq/conf.d/*.conf；Erlang/OTP 与 RabbitMQ 版本匹配。
  • 管理插件：rabbitmq-plugins list | grep management；启用：rabbitmq-plugins enable rabbitmq_management。
• 认证与权限
  • 用户与 Vhost：rabbitmqctl list_users、rabbitmqctl list_vhosts、rabbitmqctl list_permissions -p <vhost>。

二 常见故障与修复

• 服务无法启动

  • 端口冲突：更换 listeners.tcp.default 端口或释放占用端口后 systemctl restart rabbitmq-server。
  • 配置错误：核对 /etc/rabbitmq/rabbitmq.conf 与 conf.d/*.conf 的语法与参数；修正后重启。
  • 依赖/版本：确保 Erlang/OTP 与 RabbitMQ 版本兼容；必要时重装匹配版本。
  • 资源不足：清理磁盘、扩容内存；临时下调阈值：rabbitmqctl set_vm_memory_high_watermark 0.4、rabbitmqctl set_disk_free_limit 500MB。

• 本地能访问管理页，远程访问失败

  • 防火墙放行（firewalld）：firewall-cmd --zone=public --add-port=15672/tcp --permanent && firewall-cmd --reload；AMQP 端口：firewall-cmd --add-port=5672/tcp --permanent && firewall-cmd --reload。
  • 监听地址：确认 rabbitmq.conf 中 listeners.tcp.default 或 inet_dist_listen_min/max 未仅绑定 127.0.0.1。
  • 云环境安全组：在控制台放行 5672/15672（必要时放通集群端口 4369/25672）。

• 客户端连接被拒绝或超时

  • 常见原因：地址/端口错误、用户名或密码错误、未创建或未授权 Vhost、超过最大连接数。
  • 处理：核对连接参数；创建并赋权 Vhost：rabbitmqctl add_vhost <vhost>、rabbitmqctl set_permissions -p <vhost> <user> ".*" ".*" ".*"；必要时扩容或关闭闲置连接。

• 集群节点无法加入

  • 节点名解析：确保 /etc/hosts 正确映射各节点 hostname 与 IP；Erlang Cookie 一致且权限正确（/var/lib/rabbitmq/.erlang.cookie）。
  • 端口连通：放通 4369（epmd）与节点间通信端口（默认 25672），并测试 telnet <目标IP> 4369、telnet <目标IP> 25672。

• 启动时报 Mnesia/recovery.dets 损坏

  • 现象：日志含 not_a_dets_file、recovery.dets 等。
  • 处理（谨慎）：systemctl stop rabbitmq-server → 备份后清理 Mnesia 数据目录（/var/lib/rabbitmq/mnesia/<node>）→ systemctl start rabbitmq-server；若仍失败，检查磁盘与文件系统健康。

• 插件启用失败（如 rabbitmq_management）

  • 现象：{:badrpc, :timeout}。
  • 处理：将 hostname 正确加入 /etc/hosts（如 127.0.0.1 localhost <hostname>），或在 /etc/rabbitmq/enabled_plugins 写入 [rabbitmq_management]. 后启用。

三 日志与关键命令速查

• 日志与诊断

  • 节点日志：/var/log/rabbitmq/rabbit@<hostname>.log、/var/log/rabbitmq/rabbit@<hostname>-sasl.log；实时查看：tail -f /var/log/rabbitmq/rabbit@<hostname>.log | egrep -i 'error|crash|alarm'。
  • 服务与系统日志：systemctl status rabbitmq-server -l、journalctl -xe | tail -n 200。

• 常用运维命令

  • 启停：systemctl start|stop|restart rabbitmq-server；状态：systemctl status rabbitmq-server。
  • 资源与告警：rabbitmqctl status、rabbitmqctl set_vm_memory_high_watermark <0.0-1.0>、rabbitmqctl set_disk_free_limit <limit>。
  • 用户与权限：rabbitmqctl add_user <u> <p>、rabbitmqctl set_user_tags <u> administrator、rabbitmqctl add_vhost <v>、rabbitmqctl set_permissions -p <v> <u> ".*" ".*" ".*"。
  • 集群：rabbitmqctl cluster_status、rabbitmqctl join_cluster <node>，变更后 rabbitmqctl await_online_nodes <n>。

四 网络与安全配置要点

• 防火墙与安全组

  • firewalld：放通 5672（AMQP）、15672（管理）、集群通信 4369/25672；变更后 firewall-cmd --reload。
  • 云上实例：在控制台安全组放行对应端口，避免仅内网可达导致公网连接超时。

• 监听与绑定

  • 避免仅绑定 127.0.0.1；按需设置 listeners.tcp.default 与 management.tcp.port；如需公网管理，限制来源 IP。

• 主机名与解析

  • /etc/hosts 必须包含本机 IP <-> hostname 映射；集群节点间名称必须可解析且一致。

• 代理与路径

  • 通过 Nginx 反向代理管理端时，注意对 / 与 %2F 的处理，避免 405 或路由错误。

五 客户端连接异常与重连建议

• 常见成因

  • 客户端网络抖动/丢包、长时间空闲被中间网络设备关闭（如 Netty 空闲超时 320）、服务端限流或资源不足、消息体过大、权限被移除等。

• 排查与优化

  • 开通消息日志服务，检索 ConnectionClose/ChannelClose 事件及错误码；优化客户端超时与心跳；实现 Connection/Channel 维度的自动重连与指数退避；控制连接与通道数量，避免超限。