如何通过Tomcat日志实现负载均衡监控 - 问答

通过 Tomcat 日志实现负载均衡监控

一、监控思路与关键指标

目标：确认流量是否按策略分发、各节点是否健康、异常是否集中、单条请求落在哪台机器。
核心数据源：
- 访问日志（localhost_access_log）：记录每次 HTTP 请求的 时间、客户端IP、请求行、状态码、字节数、Referer、User-Agent、Host 等，用于分发与错误分布分析。
- 运行日志（catalina.out）：记录 启动/停止、异常堆栈、JVM 信息，用于节点健康与故障定位。
建议关注的指标与日志字段映射：
- 请求分发均衡性：按节点与 时间窗口 统计请求数（访问日志）。
- 错误率与状态码分布：统计 HTTP 5xx/4xx 占比（访问日志）。
- 后端处理耗时：若启用 %D/%T，可评估节点处理时延（访问日志）。
- 异常爆发：应用异常关键字（如 Exception/Error）在 catalina.out 的频次（运行日志）。
- 单请求定位：通过 trace-id 将客户端请求与具体 Tomcat 节点关联（访问日志）。
- 会话粘性：结合 JSESSIONID 与节点分布验证会话保持策略（访问日志）。

二、快速验证与排查

单节点实时观察
- 访问日志：tail -f $CATALINA_HOME/logs/localhost_access_log.*.txt，快速判断该节点是否收到请求。
- 运行日志：tail -f $CATALINA_HOME/logs/catalina.out，观察异常堆栈与启动信息。
多节点同时观察
- 多终端分屏：分别在 tomcat01 与 tomcat02 执行 tail -f，对比请求是否按预期分发。
- 单终端聚合：使用 multitail 同时跟踪多台节点日志，便于横向比对。
精准定位单条请求
- 客户端注入唯一标识：curl -H “trace-id: 123456” http://your.domain/path
- 在 Tomcat 的 conf/server.xml 的 AccessLogValve 中扩展 pattern，记录自定义头：
```
<Valve className="org.apache.catalina.valves.AccessLogValve"
       directory="logs" prefix="blog_access_log" suffix=".txt"
       pattern="%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i" "%{trace-id}i"" />
```
  重启后在两台节点 grep trace-id=123456 即可确定落点。
负载均衡配置核对（确保日志可被正确解读）
- 使用 Nginx/Apache 时，开启请求头透传，例如：
  - proxy_set_header Host $host;
  - proxy_set_header X-Real-IP $remote_addr;
  - proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  - proxy_set_header X-Forwarded-Proto $scheme;
- 会话粘性示例：Nginx 使用 ip_hash；Apache 使用 stickysession=JSESSIONID。

三、生产级监控落地（ELK 集中化）

架构与流程
- 各 Tomcat 节点部署 Filebeat 实时采集 访问日志/运行日志；
- Logstash 清洗与打标签（如 tomcat_node=tomcat01），必要时解析 trace-id/JSESSIONID；
- Elasticsearch 存储与检索；
- Kibana 构建可视化面板：按节点/时间统计 QPS、5xx/4xx 率、P95/P99 时延、异常趋势，并支持快速检索单条请求链路。
典型可视化与告警
- 面板：节点对比图（请求量/错误率/时延）、错误 TopN（URI/状态码/节点）、trace-id 追踪视图。
- 告警：节点 5xx 突增、错误率阈值、节点离线（日志断流）等。

四、自动化巡检与健康检查脚本

简易 Shell 巡检示例（统计最近 5 分钟 5xx 数并告警）

#!/usr/bin/env bash
LOG=/usr/local/tomcat/logs/localhost_access_log.$(date -d '5 minutes ago' +%F).txt
if [[ ! -f "$LOG" ]]; then LOG=/usr/local/tomcat/logs/localhost_access_log.txt; fi

COUNT=$(awk -v start="$(date -d '5 minutes ago' '+%d/%b/%Y:%H:%M:')" \
         '$4 >= "[" start && $0 ~ / 5[0-9]{2} / {n++} END {print n+0}' "$LOG")

THRESHOLD=10
if (( COUNT > THRESHOLD )); then
  echo "ALERT: 5xx count=$COUNT in last 5min on $(hostname)" | \
    mail -s "Tomcat 5xx Spike" ops@example.com
fi

建议增强
- 结合 cron 定时执行并接入企业告警通道（如钉钉/企业微信/短信）。
- 扩展统计 4xx、耗时分位、异常关键字 等维度，形成综合健康评分。

五、关键注意事项

时间同步：所有节点启用 NTP，避免跨节点分析时时间漂移导致结论错误。
日志轮转：按天/按大小切割时，确保采集与查看的是 当前活跃文件（如 localhost_access_log.YYYY-MM-DD.txt）。
请求头透传：负载均衡需正确设置 Host/X-Real-IP/X-Forwarded-For/X-Forwarded-Proto，否则访问日志中的 Host/IP 失真，影响分发与粘性验证。
会话粘性验证：若启用 ip_hash 或 stickysession=JSESSIONID，用 JSESSIONID 分布核对是否按策略保持会话。

0 赞

0 踩