如何解读Ubuntu Node.js访问日志

Ubuntu Node.js 访问日志解读指南

一 常见日志格式与字段含义

• 若使用 Express + morgan，常见内置格式与字段如下（示例为单行日志与其含义对照）：
  • dev：GET / 200 3.029 ms - 12
    • 含义：请求方法 GET、路径 /、状态码 200、响应时间 3.029 ms、响应字节数 12。
  • common：::1 - - [24/Jan/2025:10:30:00 +0000] "GET / HTTP/1.1" 200 12
    • 含义：远程地址 ::1、远程用户 -、身份标识 -、时间戳 [24/Jan/2025:10:30:00 +0000]、请求行 “GET / HTTP/1.1”、状态码 200、字节数 12。
  • combined：在 common 基础上增加 Referer 与 User-Agent。
    • 示例：::1 - - [24/Jan/2025:10:30:00 +0000] "GET / HTTP/1.1" 200 12 "http://localhost:3000/" "Mozilla/5.0 ..."
  • short：::1 - GET / HTTP/1.1 200 12 - 3.029 ms
  • tiny：GET / 200 12 - 3.029 ms
• 若采用 JSON 结构化日志（如 winston/pino 自定义），常见字段包括：timestamp、level、method、url/path、status、responseTime、ip、user-agent、referer、requestId 等，便于检索与聚合分析。

二 在 Ubuntu 上查看与实时跟踪日志

• 定位日志文件：常见在项目的 logs/ 目录，或以服务方式输出到 journald/systemd。不确定位置时，优先查看应用配置或启动脚本中的日志路径。
• 常用命令：
  • 查看末尾若干行：tail -n 100 /path/to/access.log
  • 实时跟踪：tail -f /path/to/access.log
  • 分页与检索：less /path/to/access.log；配合 grep 'pattern' /path/to/access.log 过滤关键字（如 500、特定 path）。
  • 若由 systemd 托管：journalctl -u your-node-service.service -f 实时查看服务日志。

三 快速分析命令示例

• 统计各状态码数量：awk '{print $9}' access.log | sort | uniq -c | sort -nr
• Top 10 请求路径：awk '{print $7}' access.log | sort | uniq -c | sort -nr | head
• 统计某时间段的请求数（示例为 2025-04-01 10 点）：awk '$4 ~ /\[01\/Apr\/2025:10:/ {count++} END {print count}' access.log
• Top User-Agent：awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -nr | head
• 平均响应时间（假设字段 8 为响应时间 ms）：awk '{sum+=$8; n++} END {print "avg=" sum/n}' access.log
• 错误率（状态码 >= 400）：awk '$9 >= 400 {err++; tot++} $9 < 400 && $9 != "-" {tot++} END {printf "error_rate=%.2f%%\n", err/tot*100}' access.log
• 说明：以上列号基于 combined 格式；如使用 JSON 日志，请改用 jq 等工具解析字段，例如：jq -r '. | select(.status >= 400) | .url' access.log | sort | uniq -c | sort -nr。

四 将日志接入可视化与趋势分析

• 轻量方案：使用 Grafana Loki + Promtail 采集与查询，适合中小规模与成本敏感场景。
• 标准方案：使用 ELK Stack（Elasticsearch + Logstash + Kibana） 集中存储与可视化。示例 Logstash 片段（按实际字段调整 grok 模式）：
  • input: file { path => "/path/to/nodejs/logs/*.log" start_position => "beginning" }
  • filter（combined 示例）：grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }
  • output: elasticsearch { hosts => ["localhost:9200"] index => "nodejs-access-%{+YYYY.MM.dd}" }
• 在 Kibana 中可构建仪表盘，监控 请求速率、状态码分布、P95/P99 响应时间、Top URL/UA 等关键指标，并设置阈值告警。

五 排错与最佳实践

• 访问日志与错误日志分离：访问日志记录 HTTP 请求轨迹，错误日志记录 异常堆栈与告警；便于定位问题与成本控制。
• 使用结构化日志（如 JSON）并统一 timestamp 格式，便于检索、聚合与跨系统关联。
• 合理采样与脱敏：对高频接口或敏感字段（如 password/token）进行采样或掩码处理，避免日志膨胀与泄露。
• 日志轮转与保留：使用 logrotate 或按时间切分（如按日），并设定保留策略，防止磁盘被占满。
• 关注性能影响：高 QPS 场景下，避免同步写磁盘与过度打点；必要时采用异步批量写入与采样策略。