nginx日志监控：如何实时发现异常流量

1. 定义异常流量核心指标

实时发现异常流量的前提是明确关键判断维度，常见的异常指标包括：

• 请求频率异常：短时间内（如1分钟内）同一IP的请求次数远超正常阈值（如超过200次/分钟）；
• 状态码异常：高频出现4xx（如404未找到、403禁止访问）或5xx（如500服务器内部错误、503服务不可用）状态码；
• 敏感路径访问：频繁访问管理接口（如/wp-login.php、/phpmyadmin）、敏感文件（如/etc/passwd）或非公开API；
• 性能突变：请求响应时间（$request_time）显著上升（如超过500ms）、连接成功率下降（如conns_opened_percent低于90%）。

2. 实时日志分析与异常检测方法

（1）Shell脚本实时扫描（轻量级方案）

通过grep、awk等命令快速提取日志中的关键信息，判断是否超过阈值。例如：

• 检测高频IP：提取过去1分钟内的IP访问量，统计每个IP的请求次数，超过阈值（如200次/分钟）则判定为异常；
• 统计状态码异常：提取4xx/5xx状态码的数量，若占比超过5%则触发告警；
• 识别敏感路径：过滤访问敏感路径（如/wp-login.php）的请求，统计次数并判断是否异常。
  脚本示例（高频IP检测）：

LOG_FILE="/var/log/nginx/access.log"
TIME_WINDOW=$(date --date='1 minute ago' "+%d/%b/%Y:%H:%M")
THRESHOLD=200
grep "$TIME_WINDOW" $LOG_FILE | awk '{print $1}' | sort | uniq -c | sort -nr | while read COUNT IP; do
    if [ $COUNT -gt $THRESHOLD ]; then
        echo "$(date) - 异常IP: $IP (请求数: $COUNT)" >> /var/log/nginx/ban.log
        # 可扩展：调用iptables封禁IP或发送告警
    fi
done

优化方向：添加白名单（避免误封CDN、办公IP）、自动解封机制（如封禁1小时后自动移除）。

（2）专业日志分析工具（可视化+智能检测）

• GoAccess：开源实时日志分析工具，支持Nginx日志格式，可实时展示请求量、状态码分布、IP排名等指标，通过Web界面直观查看异常；
• ELK Stack（Elasticsearch+Logstash+Kibana）：通过Logstash解析Nginx日志并存储到Elasticsearch，Kibana提供可视化 dashboard，支持异常指标的趋势分析、告警规则配置（如状态码异常率超过5%时发送邮件）；
• Fluentd：数据收集器，可将Nginx日志转发到Prometheus（监控指标）+ Grafana（可视化），支持实时告警（如请求量突增超过20%）。

3. 结合Nginx内置模块限制异常流量

通过Nginx的限流模块提前拦截异常请求，避免影响正常服务：

• limit_req模块：限制同一IP的请求速率（如10r/s），超过阈值的请求返回503错误（可配置burst参数允许短暂超限）；
• limit_conn模块：限制同一IP的并发连接数（如5个），超过则拒绝新连接；
• deny模块：通过脚本动态更新blocksip.conf文件，禁止高频异常IP访问（需配合ngx_http_access_module模块）。
  配置示例（限流+封禁）：

http {
    # 定义限流共享内存区
    limit_req_zone $binary_remote_addr zone=req_limit:10m rate=10r/s;
    limit_conn_zone $binary_remote_addr zone=conn_limit:10m;

    server {
        location / {
            # 限流配置：峰值20r/s，允许突发5个请求
            limit_req zone=req_limit burst=20 nodelay;
            limit_req_log_level warn;
            # 并发连接数限制
            limit_conn conn_limit 5;
        }
    }
}

4. 自动化告警与响应

当检测到异常流量时，及时通知运维人员并采取措施：

• Shell脚本告警：通过mail命令或第三方邮件服务（如SendGrid）发送邮件告警，包含异常IP、请求数、时间等信息；
• 专业监控工具告警：如Zabbix、Datadog、Prometheus等，支持多渠道告警（邮件、Slack、PagerDuty），并配置自动响应（如重启服务、扩容实例）；
• Fail2ban工具：自动化封禁异常IP，支持Nginx日志检测，配置灵活（如自动解封时间、白名单）。

5. 关键注意事项

• 日志格式优化：在Nginx配置中定义详细的log_format，包含$remote_addr（IP）、$status（状态码）、$request_time（响应时间）、$http_user_agent（UA）、$request_uri（请求路径）等字段，便于后续分析；
• 阈值调整：根据业务场景调整异常阈值（如电商大促期间需提高请求频率阈值），避免误报；
• 白名单机制：将公司办公IP、CDN节点IP加入白名单，避免正常请求被误判为异常。