nginx日志分析：如何发现异常流量

Nginx日志异常流量发现与处置

一 核心指标与异常特征

• 指标与阈值示例
  • 高频访问：按时间窗口统计客户端 IP 的请求次数，超过阈值即可疑。示例：每分钟超过200次、500次等（结合业务体量与基线调整）。
  • 状态码异常：短时内404/403/500占比异常升高，常见于扫描、爆破或后端故障。
  • 敏感路径与探测：集中访问**/wp-login.php**、/phpmyadmin、/.env、/admin等管理或敏感路径。
  • 扫描与爬虫特征：大量不同路径、UA 伪装、Referer 缺失或异常、请求参数组合爆炸。
  • 带宽异常：少数 IP/URI 的响应体大小或请求速率异常高，导致带宽占满。
  • 时间序列突变：以每分钟为粒度聚合的访问量出现尖峰，偏离历史均值与季节性。以上特征常组合使用以提高准确率。

二 快速排查命令与可视化

• 近1分钟高频 IP（combined 格式）
  • TIME_WINDOW=$(date --date=‘1 minute ago’ “+%d/%b/%Y:%H:%M”)
  • grep “$TIME_WINDOW” /var/log/nginx/access.log | awk ‘{print $1}’ | sort | uniq -c | sort -nr | head
• 近1分钟 404/403 激增
  • grep “$TIME_WINDOW” /var/log/nginx/access.log | awk ‘$9 ~ /4[0-9]{2}/ {print $7}’ | sort | uniq -c | sort -nr | head
• 敏感路径探测
  • grep -Ei “/(wp-login|phpmyadmin|.env|admin)” /var/log/nginx/access.log | awk ‘{print $1,$7}’ | sort | uniq -c | sort -nr | head
• Top URL/UA
  • awk ‘{print $7}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr | head
  • awk -F’"’ ‘{print $6}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr | head
• 带宽占用 Top N（按响应体大小）
  • awk ‘{sum[$7]+=$10} END {for (u in sum) print sum[u], u}’ /var/log/nginx/access.log | sort -nr | head
• 可视化与钻取
  • 在 Windows 环境可用 GlassWire 快速确认是否为 Nginx 进程占用带宽，再用 Web Log Expert 对日志做多维分析（访客、页面、时段、带宽），定位异常接口与页面。以上命令与工具组合适合“先定位、再取证”。

三 自动化检测与处置

• 轻量自动化脚本思路（Shell + iptables/firewalld）
  • 设定窗口（如1分钟）与阈值（如200次/分），按窗口统计 IP 请求数；超过阈值则加入防火墙封禁；支持白名单、已封禁检查、封禁时长、操作日志记录；可配合 crontab 每分钟执行；若用 firewalld，可用 rich rule 添加拒绝规则。
• 生产级方案 Fail2ban
  • 针对 Nginx 配置 jail，匹配高频 4xx/5xx、敏感路径、异常 UA 等模式，自动封禁并支持自动解封与邮件告警，减少误封与运维成本。
• 内联限流与协同
  • 在 Nginx 使用 limit_req/limit_conn 对单 IP/URI 做速率限制，作为日志检测后的“兜底”防线；与日志检测联动，先告警/记录，再限流/封禁，降低对后端冲击。以上做法覆盖从脚本到成熟工具的多种落地路径。

四 进阶 时序建模与模式识别

• 将日志按每分钟聚合为时间序列（请求量、404 数、带宽等），用 LSTM/RNN 建模正常模式，预测下一时段值；以预测误差作为异常分数，超过阈值触发告警。特征工程可采用滑动窗口/滞后变量；训练/验证/测试划分与标准化（或对数变换）有助于提升稳定性；预测后需逆变换回原始尺度进行评估与告警。适用于有明显周期性与趋势性的访问流量场景。

五 落地配置与执行清单

• 日志与字段
  • 使用 combined 或 JSON 格式，确保包含：客户端 IP、时间、请求方法、URI、状态码、响应体大小、User-Agent、Referer、请求时间；JSON 便于在 ELK/Prometheus 体系下做聚合与告警。
• 基线与时窗
  • 以近7–14天数据建立按小时/分钟的基线；异常判定采用滑动窗口（如1分钟、5分钟、15分钟）与多窗口联合（短时尖峰 + 持续异常）。
• 处置策略
  • 先告警、再限速、最后封禁；封禁设置合理时长与自动解封；维护白名单（公司网段、CDN/网关）；对“误封”建立快速回滚与复核流程。
• 监控闭环
  • 将关键指标（如每分钟请求数、4xx/5xx 占比、TOP IP/URI、带宽）接入 Grafana/Prometheus 或 ELK，配置动态阈值与异常告警，定期复盘阈值与规则。