Debian Nginx日志中慢查询分析方法 - 问答

Debian Nginx日志中慢查询分析方法

一概念澄清与前置准备

Nginx 没有“慢查询日志”这一说法，慢查询通常用于数据库（如 MySQL）。在 Nginx 场景，所谓“慢查询”是指响应时间过长的 HTTP 请求，需要在访问日志中基于时间字段进行识别与分析。Nginx 日志默认位于**/var/log/nginx/，核心文件为access.log与error.log**。为便于分析，建议在 Nginx 配置中启用并输出**$request_time**（请求总耗时）与**$upstream_response_time**（上游处理耗时）字段。

二配置日志以输出耗时字段

在 Debian 的 Nginx 配置中（如**/etc/nginx/nginx.conf或/etc/nginx/conf.d/*.conf**）定义包含耗时字段的日志格式，并在需要的server或location中使用：

http {
  log_format  main_ext  '$remote_addr - $remote_user [$time_local] '
                      '"$request" $status $body_bytes_sent '
                      '"$http_referer" "$http_user_agent" '
                      'rt=$request_time uct=$upstream_connect_time urt=$upstream_response_time';
  access_log  /var/log/nginx/access.log  main_ext;
}
# 修改后检查并重载
sudo nginx -t && sudo systemctl reload nginx

说明：
- $request_time：从接收客户端请求的第一个字节到发送完响应的最后一个字节的时间（秒，含队列与后端）。
- $upstream_response_time：与上游（如 PHP-FPM、反向代理）交互的耗时（秒，可能多次以逗号分隔）。
- 若日志采用默认combined格式，字段位置与名称不同，分析命令需相应调整。

三命令行快速定位慢请求

以常见的combined格式为例（第1列为**$remote_addr**，第4列为**$time_local**，第7列为**$request**，第9列为**$status**，第10列为**$body_bytes_sent**，第NF列为**$request_time**；不同格式请按实际字段调整）：
- 实时查看并筛选超过阈值的请求（例如**>1s**）：

tail -f /var/log/nginx/access.log | \
  awk '$NF > 1 {printf "%.3fs %s %s %s\n", $NF, $4, $7, $1}' | sort -k1 -nr

找出最慢的10个请求：

awk '{print $NF, $4, $7}' /var/log/nginx/access.log | sort -k1 -nr | head -10

统计5xx错误中耗时最长的10个请求：

awk '$9 >= 500 {print $NF, $4, $7}' /var/log/nginx/access.log | sort -k1 -nr | head -10

按URL汇总平均耗时与次数，找出“又慢又热”的资源：

awk '{url=$7; sum[url]+=$NF; cnt[url]++} END {for(u in sum) printf "%.3f %d %s\n", sum[u]/cnt[u], cnt[u], u}' \
  /var/log/nginx/access.log | sort -k1 -nr | head

按小时统计慢请求数（阈值**>2s**）：

awk '$NF > 2 {split($4, a, ":"); h=a[2]; slow[h]++} END {for(H in slow) print H, slow[H]}' \
  /var/log/nginx/access.log | sort

提示：若使用上文的main_ext格式，可直接用字段名（如**$request_time**）替代**$NF**，命令更稳健。

四可视化与实时监控工具

GoAccess：生成HTML实时报告，便于交互式分析。

cat /var/log/nginx/access.log | \
  docker run --rm -i diyan/goaccess \
    --time-format='%H:%M:%S' --date-format='%d/%b/%Y' \
    --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > report.html

ngxtop：类 top 的实时监控，按URL/状态码/耗时等维度快速定位问题。

pip install ngxtop
ngxtop -c /etc/nginx/nginx.conf -t 1

这些工具适合日常巡检与临时排查，结合阈值告警效果更佳。

五定位瓶颈与优化建议

关联error.log排查连接超时、上游不可用等错误；使用nginx -t与systemctl reload nginx确保配置正确并平滑生效。
若慢在上游（如 PHP、Node、上游服务），优先分析**$upstream_response_time**；结合应用日志与数据库慢查询进一步定位。
基础性能调优（按需）：
- 调整worker_processes（建议与CPU 核心数一致）、worker_connections、启用HTTP/2、优化SSL/TLS（优先TLS 1.3）。
- 对静态资源启用缓存；流量大时引入负载均衡与CDN。
若瓶颈在数据库，启用并分析数据库的慢查询日志（如 MySQL 的 slow_query_log），配合EXPLAIN与索引优化。

0 赞

0 踩