Debian Node.js 日志中错误追踪技巧

Debian Node.js 日志错误追踪技巧

一 日志源与快速定位路径

• 应用日志：优先查看应用写入的日志文件（如 logs/、app.log、error.log），或使用日志库（如 winston、bunyan、log4js）配置的多目标输出。
• 服务日志：若以 systemd 管理，使用 journalctl -u nodeapp.service -f 实时跟踪；必要时加上时间窗口（如 –since “2025-11-18 10:00:00”）。
• 系统日志：查看 /var/log/syslog 并过滤关键字（如 grep -i “node|error” /var/log/syslog）。
• 内核与启动：用 dmesg | tail -n 50 排查 OOM、驱动、硬件相关异常；用 journalctl -k 查看内核日志。
• Web 前置：若经 Nginx/Apache 反向代理，同时检查 access.log/error.log 以定位上游 4xx/5xx 与超时。
• 实时与检索：组合 tail -f、grep -A/-B/-C、awk 做上下文分析与字段提取。

二 应用内日志最佳实践

• 结构化与级别：统一使用 JSON 格式并区分 error/warn/info/debug；错误日志务必包含 stack、code、requestId、url、method、userId 等上下文。
• 多目标与轮转：同时输出到 控制台 与 文件；为文件设置 maxsize / maxFiles 做日志轮转，避免磁盘被撑满。
• 请求链路：在 Express 中使用 morgan 记录请求；为每条日志注入 requestId，串联同一次请求的全链路日志。
• 异常兜底：监听 uncaughtException、unhandledRejection，记录后 graceful shutdown 并退出，防止“带病运行”。
• 调试辅助：通过 DEBUG=module 开启模块级调试；必要时使用 node --inspect 或 node inspect 进行断点调试。

三 系统层面排查与性能关联

• 服务状态与重启：用 systemctl status nodeapp.service 查看 Active/ExecMainStatus/RestartCount；异常退出码（如 1）常伴随未捕获异常。
• 资源瓶颈：结合 dmesg 识别 OOM-killer；用 top/htop、vmstat、iostat、netstat 关联 CPU、内存、I/O、连接数异常与日志报错时段。
• 日志采集与分析：通过 rsyslog 的 imfile 将应用日志接入 Syslog；使用 Logwatch 做日报，或用 ELK 集中存储与可视化。
• 安全与审计：涉及认证/权限问题时，同步检查 /var/log/auth.log。

四 高效检索与分析命令清单

• 实时跟踪单个服务：journalctl -u nodeapp.service -f --since “2025-11-18 09:00:00”
• 系统级错误聚合：grep -i “error|fail|exception” /var/log/syslog | tail -n 200
• 内核与 OOM：dmesg | grep -i “oom|kill”
• 应用日志上下文：tail -n 1000 app.log | grep -A 10 -B 10 “requestId=abc123”
• 时间窗筛选：sed -n ‘/2025-11-18 10:15:00/,/2025-11-18 10:20:00**/p’ app.log
• 字段统计：awk ‘{print $7}’ access.log | sort | uniq -c | sort -nr | head
• 失败请求定位：grep “HTTP/1.1" [45]” access.log | awk ‘{print $1,$7,$9}’ | sort | uniq -c

五 进阶可观测性与追踪

• 集中式日志：使用 winston-elasticsearch 将日志写入 Elasticsearch，以 index: logs-YYYY.MM.DD 按日分片，配合 Kibana 检索与可视化。
• 指标与告警：以 prom-client 暴露 http_request_duration_ms 等直方图，结合 Prometheus + Grafana 设置 P95/P99 延迟与 5xx 错误率告警。
• 分布式追踪：集成 OpenTelemetry，在日志中注入 traceId/spanId，实现跨服务调用链路的统一检索与定位。