怎样通过Nginx日志做性能调优 - 问答

用 Nginx 日志做性能调优的实操流程

一关键指标与日志字段设计

在日志中记录能直接反映性能与时间消耗的字段，建议的自定义格式如下：
- 必含字段：$request_time（请求总耗时）、$upstream_response_time（上游响应耗时）、$status、$body_bytes_sent、$request（含方法、URI、协议）。
- 可选字段：$http_user_agent、$http_referer、$http_x_forwarded_for（便于定位来源与客户端特征）。

示例格式与启用方式：

log_format perf '$remote_addr - $remote_user [$time_local] '
               '"$request" $status $body_bytes_sent '
               '"$http_referer" "$http_user_agent" '
               '$request_time $upstream_response_time $upstream_addr';

access_log /var/log/nginx/access.log perf buffer=32k flush=5s;
error_log  /var/log/nginx/error.log warn;

说明：
- 通过 $request_time 与 $upstream_response_time 可区分“网络传输耗时”与“上游处理耗时”，定位瓶颈是在 Nginx 还是后端。
- 将 error_log 设为 warn/error 级别可减少不必要的日志写入，降低 I/O 压力。

二从日志发现性能瓶颈

慢请求定位（找出最耗时 URL）
- 例：筛选总耗时超过 5 秒 的请求，并按出现次数排序
```
awk '$NF > 5 {print $7}' access.log | sort | uniq -c | sort -nr | head
```
- 若更关注上游瓶颈，可改为筛选 $upstream_response_time 较大的记录（需将该字段放在日志末尾，便于用 $NF 取用）。
状态码与错误热点
- 统计 5xx/4xx 分布，快速定位异常页面或接口
```
awk '{print $9}' access.log | sort | uniq -c | sort -rn
```
流量与时间维度分析
- 统计每分钟请求量，识别高峰与突发流量
```
awk '{print substr($4,14,5)}' access.log | sort | uniq -c | sort -nr | head
```
可视化与持续分析
- 使用 GoAccess 生成 HTML 报告，直观查看 Top URL、Top IP、响应时间分布等
```
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format=COMBINED
```
解读要点
- 若 $request_time ≈ $upstream_response_time，瓶颈多在后端（应用/数据库/缓存）。
- 若 $request_time > $upstream_response_time 且差距明显，瓶颈多在 Nginx 与客户端之间的网络、TLS 或静态资源传输。

三基于日志洞察的配置优化

上游与缓存优化
- 对可缓存内容启用 proxy_cache，对慢接口增加缓存层级或降级策略，降低 $upstream_response_time。
- 调整 keepalive_timeout 与连接复用，减少频繁建连开销（需结合日志中的连接指标与 RTT 观察）。
并发与 I/O 能力
- 将 worker_processes 设为 CPU 核心数，worker_connections 结合业务并发调优，避免日志写入与业务争用 I/O。
传输层优化
- 启用 sendfile on; 提升静态文件发送效率，降低 CPU 与用户/内核态拷贝开销。
日志写入策略
- 使用缓冲写日志：access_log … buffer=32k flush=5s;，减少磁盘同步次数，降低写放大。
- 降低 error_log 级别至 warn/error，避免高频 debug 日志影响性能。
存储与系统
- 将 /var/log/nginx 放在 SSD 上，缩短 fsync 与寻道时间，提升写吞吐。

四日志管道与运维实践

异步与远程日志

通过 syslog 将日志异步发送到 Fluentd/ELK，减少本地 I/O 压力

log_format fluentd '{"time":"$time_iso8601","remote_addr":"$remote_addr",'
                  '"request":"$request","status":$status,"bytes_sent":$body_bytes_sent}';
access_log syslog:server=127.0.0.1:514,tag=nginx fluentd;

日志轮转与清理

使用 logrotate 按日轮转并压缩，保留 7 天 历史，避免单文件过大与句柄压力

/var/log/nginx/*.log {
  daily
  rotate 7
  compress
  delaycompress
  missingok
  notifempty
  create 0640 nginx adm
  sharedscripts
  postrotate
    [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
  endscript
}

缓存文件句柄
- 启用 open_log_file_cache，复用日志文件句柄，降低频繁打开/关闭的开销
```
open_log_file_cache max=10m inactive=20m use_temp_path=off;
```
变更流程
- 调整日志格式或级别后，使用 nginx -t 校验并重载：kill -HUP $(cat /var/run/nginx.pid)（或 systemctl reload nginx）。

0 赞

0 踩