用 JS 日志提升 Debian 稳定性的实操方案
一 目标与总体架构
- 目标：通过可观测的 日志链路 快速发现、定位、恢复故障，并沉淀为长期改进依据，覆盖 Node.js 后端、前端浏览器、Nginx/Apache 网关 三层。
- 架构要点：
- 统一日志格式（建议 JSON），包含 timestamp、level、service、trace_id、msg、err.stack 等关键字段，便于检索与聚合。
- 集中化采集与存储：Node 与服务日志写入 stdout/stderr，由 journald 或 rsyslog 收集；前端异常通过 Beacon 上报；使用 ELK/Fluentd/Graylog 集中存储与检索。
- 可视化与告警：用 Grafana 展示错误率、P95/P99、重启次数等；用 Prometheus Alertmanager 或 ELK 告警规则触发 邮件/企业微信/钉钉 通知。
二 日志采集与规范化
- Node.js 后端
- 选择高性能库（如 pino、winston、log4js），生产默认 level=info，错误单独落盘；输出 JSON 并携带 reqId/traceId。
- 示例（pino）：
- const pino = require(‘pino’);
const logger = pino({ level: ‘info’, transport: { target: ‘pino-pretty’ } });
logger.info({ reqId: ‘abc-123’ }, ‘user login’);
logger.error({ err }, ‘db query failed’);
- 进程管理：用 PM2 托管并启用 pm2-logrotate（按天轮转、保留 7 天、压缩），避免磁盘被日志撑爆。
- 前端浏览器
- 全局捕获 window.onerror、unhandledrejection，补充 url、ua、viewport、user_id 等；对低概率错误做 采样 与 去重，通过 Beacon 异步上报到后端日志收集端点。
- Web 服务器与网关
- Nginx：在 /etc/nginx/nginx.conf 配置 error_log /var/log/nginx/error.log; access_log /var/log/nginx/access.log;，必要时开启更详细日志用于排障（生产慎用 debug）。
- Apache：在 /etc/apache2/apache2.conf 或虚拟主机中设置 LogLevel，错误日志落 /var/log/apache2/error.log。
- 系统与进程日志
- 将 Node 应用以 systemd 服务运行，用 journalctl -u 查看结构化日志；如需对接 syslog，可在服务单元中配置 StandardOutput=journal+syslog 或写入 /var/log/ 并由 rsyslog 转发。
三 存储轮转与保留策略
- 本地轮转
- PM2：安装 pm2-logrotate，示例策略 rotateInterval=1d、retain=7、compress=true，防止单日志过大影响 I/O 与磁盘。
- 系统级：对自定义应用日志使用 logrotate（按大小或时间切割、压缩、保留周期化），避免 /var/log 膨胀。
- 集中化与保留
- 使用 Fluentd/Logstash 将日志发往 Elasticsearch，按 index pattern（如 logs-YYYY.MM.DD） 管理；设置 ILM（Index Lifecycle Management） 做热温冷分层与过期删除，控制成本与合规留存。
四 监控告警与故障复盘
- 关键指标与阈值示例
- 错误率：> 1% 持续 5 分钟 告警
- P95 延迟：> 2s 持续 5 分钟 告警
- 服务重启次数：> 3 次/小时 告警
- 磁盘使用率：> 80% 告警
- 可视化与告警
- Grafana 构建 错误趋势、Top N 错误、P50/P95/P99、吞吐 面板；Prometheus 采集应用与节点指标，Alertmanager 分组、抑制、静默与路由到 邮件/企业微信/钉钉。
- ELK 侧可用 Kibana Alerting 对错误日志模式触发告警。
- 故障复盘闭环
- 以 trace_id 串联前后端与网关日志，还原调用链；定位根因后回滚或热修复，并更新 告警规则与日志级别，形成 Runbook 与 事后复盘 文档。
五 安全合规与持续优化
- 安全与合规
- 日志脱敏：过滤 password、token、credit_card 等敏感字段；传输使用 TLS；访问日志与错误日志按 最小权限 控制；满足行业 合规与留痕 要求。
- 持续优化
- 定期 审查日志配置与保留策略，避免信息过载或遗漏；结合 性能监控（如 node-clinic、PM2） 与日志洞察进行容量与性能调优；将日志分析与稳定性提升作为 持续迭代 的工程实践。