如何在Debian上监控Node.js日志性能

在 Debian 上监控 Node.js 日志与性能的实用方案

一 架构与总体思路

• 在应用侧使用结构化日志（如 Winston、Pino、Morgan），输出包含 timestamp、level、msg、requestId、statusCode、durationMs、route、userId 等字段，便于检索与聚合。
• 在系统侧用 PM2 或 systemd 管理进程与日志，配合 logrotate 做文件轮转，避免磁盘被占满。
• 在观测侧搭建 ELK（Elasticsearch + Logstash + Kibana）/Graylog/Fluentd 做集中式日志，或用 Prometheus + Grafana 采集指标并可视化，必要时引入 New Relic、Datadog 等 APM。
• 在可用性侧增加 健康检查端点 /health，结合告警规则实现 7×24 监控与通知。

二 应用侧日志最佳实践

• 选择日志库与格式：生产推荐 Winston/Pino（结构化、可异步、多传输），HTTP 请求日志用 Morgan；统一使用 JSON 格式，便于解析与聚合。
• 合理设置日志级别：生产以 error、warn 为主，按需开启 info/debug；对高频路径避免过多 debug 以减少 I/O 压力。
• 异步与非阻塞：确保日志写入不阻塞事件循环；必要时对关键错误采用同步保证不丢失。
• 请求链路追踪：在日志中始终输出 requestId，将 access log 与 error log 关联，便于端到端排查。
• 示例（Winston，JSON + 时间戳）：
  • 代码示例：
    • const winston = require(‘winston’);
    • const logger = winston.createLogger({
      • level: ‘info’,
      • format: winston.format.combine(
        • winston.format.timestamp(),
        • winston.format.json()
      • ),
      • transports: [
        • new winston.transports.Console(),
        • new winston.transports.File({ filename: ‘app.log’ })
      • ]
    • });
    • logger.info(‘服务器已启动’, { port: 3000 });
    • logger.error(‘数据库连接失败’, { err: err.message });
  • 要点：结构化字段（如 requestId、statusCode、durationMs）可在中间件/路由层统一注入。

三 系统与服务管理

• 使用 PM2 运行与观测：
  • 安装与启动：npm install -g pm2；pm2 start app.js --name “my-app”
  • 实时日志与监控：pm2 logs my-app；pm2 monit；pm2 top
  • 日志轮转：pm2 install pm2-logrotate（按天/大小切割与保留策略）
• 使用 systemd 托管与采集系统日志：
  • 创建服务：/etc/systemd/system/my-app.service（ExecStart=/usr/bin/node /opt/myapp/app.js）
  • 查看服务与日志：systemctl status my-app；journalctl -u my-app -f
• 使用 logrotate 管理文件轮转（适用于应用直写文件）：
  • 示例 /etc/logrotate.d/myapp：
    • /var/log/myapp/*.log {
      • daily
      • rotate 14
      • compress
      • missingok
      • notifempty
      • copytruncate
      • su app app
    • }
• 建议：二选一（PM2 或 systemd）统一日志路径与权限，避免重复采集。

四 集中式日志与可视化

• 集中式日志方案：
  • ELK Stack：Winston 输出到 Logstash（或直接 Elasticsearch），用 Kibana 建立仪表盘（如 请求量/错误率/P95-P99 延迟/Top 路由）。
  • 替代方案：Graylog/Fluentd 统一采集与解析，再入 ES 或直存 Graylog 做检索与告警。
• 指标与可视化：
  • Prometheus 采集 HTTP 请求耗时、错误率、活跃请求数 等应用指标（如用 prom-client），Grafana 做面板与阈值告警。
  • 将日志与指标关联：用 requestId 在 Kibana/Grafana 跨数据源联动排查。
• 告警与通知：
  • Kibana Alerting 或 Prometheus Alertmanager 配置阈值/异常规则，接入 邮件/企业微信/Slack 等。

五 健康检查与性能分析

• 健康检查端点：
  • 代码示例：
    • const http = require(‘http’);
    • http.createServer((req, res) => {
      • if (req.url === ‘/health’) {
        • res.writeHead(200, { ‘Content-Type’: ‘text/plain’ });
        • res.end(‘OK’);
      • } else { /* 业务路由 */ }
    • }).listen(3000);
  • 外部探针与告警：对 /health 做周期性探测，异常时触发告警并联动重启/扩容。
• 系统级性能观测：
  • 命令行工具：top/htop、vmstat、iostat、free、df、nmon 观察 CPU、内存、I/O、磁盘 瓶颈。
• 深入诊断：
  • Node.js 内置性能分析：node --inspect 配合 Chrome DevTools 做 CPU/内存分析；必要时用 v8-profiler、heapdump 定位内存泄漏与热点。