如何配置Node.js日志以支持高并发

高并发场景下的 Node.js 日志配置实践

一 核心原则

• 选择高性能、低开销的日志库：优先使用 Pino 或 Winston；Pino 以流式与低开销著称，Winston 具备多传输与灵活扩展能力。
• 使用结构化日志：生产环境推荐 JSON，便于检索、聚合与分析。
• 合理设置日志级别：生产默认 info/warn，按需开启 debug/trace，避免过量日志拖慢 I/O。
• 异步与非阻塞：确保日志写入不阻塞事件循环；必要时采用队列/批处理策略。
• 日志轮转与归档：控制单文件大小与保留天数，避免磁盘被撑满与 I/O 抖动。
• 集中式日志管理：将日志发往 ELK（Elasticsearch、Logstash、Kibana）/Graylog/Fluentd，降低本机 I/O 压力并提升可观测性。
• 安全合规：对敏感字段脱敏，限制文件访问权限，必要时加密存储。

二 推荐配置方案

• 方案A 高性能 JSON 日志到文件 + 按时间轮转（Pino）

  • 特点：极低开销、适合高 QPS；按时间切分、压缩归档，便于长期留存与检索。
  • 示例：
    • 安装：npm i pino pino-rotate
    • 配置：

      const pino = require('pino');
      const rotate = require('pino-rotate');
      
      rotate({
        period: '1d',            // 每日轮替
        path: 'app.log',         // 日志路径
        limit: '10m',            // 单文件上限
        compress: true,          // 压缩归档
      });
      
      const logger = pino({ level: process.env.LOG_LEVEL || 'info' });
      logger.info({ route: '/health', status: 200 }, 'health check ok');
      

  • 提示：开发环境可接入 pino-pretty 仅在本地美化输出，避免生产使用。

• 方案B 多传输与异常安全（Winston）

  • 特点：同时输出到控制台与滚动文件；支持异常捕获与多传输扩展（如 Elasticsearch）。
  • 示例：
    • 安装：npm i winston winston-daily-rotate-file
    • 配置：

      const winston = require('winston');
      const DailyRotateFile = require('winston-daily-rotate-file');
      
      const rotateTransport = new DailyRotateFile({
        filename: 'logs/app-%DATE%.log',
        datePattern: 'YYYY-MM-DD-HH',
        zippedArchive: true,
        maxSize: '20m',
        maxFiles: '14d',
      });
      
      const logger = winston.createLogger({
        level: process.env.LOG_LEVEL || 'info',
        format: winston.format.combine(
          winston.format.timestamp(),
          winston.format.json()
        ),
        defaultMeta: { service: 'my-service' },
        transports: [
          rotateTransport,
          new winston.transports.Console({
            format: winston.format.simple(),
          }),
        ],
        exceptionHandlers: [rotateTransport], // 未捕获异常也写入
        rejectionHandlers: [rotateTransport], // Promise 拒绝也写入
      });
      
      logger.info('started');
      

  • 提示：可按需添加 winston-elasticsearch 等传输，将日志直送 ES 集群。

三 系统与运维配置

• 进程标准输出采集：容器与 systemd 场景优先将日志写到 stdout/stderr，由 journald 或容器平台收集，减少本地文件 I/O 竞争。
• 文件轮转兜底：若应用内未做轮转，可使用 logrotate 定期切割与压缩，避免日志无限增长。
• 集中式日志平台：将日志发往 ELK/Graylog/Fluentd/Loki，统一索引、检索、可视化与告警。
• 监控与告警：结合 Prometheus + Grafana 对日志相关指标（如错误率、写入延迟）建立面板与阈值告警。

四 性能与安全要点

• 减少不必要的日志：避免高频路径打点；对大对象与循环引用做摘要化输出。
• 异步与批量：高并发下优先异步写入；必要时引入队列/批处理以平滑 I/O 峰值。
• 顺序与一致性：异步可能带来乱序，关键业务可加 requestId/traceId 保证链路可追踪。
• 敏感信息脱敏：对 password、token、card 等字段进行掩码或哈希后再写入。
• 权限与加密：限制日志文件访问权限；对敏感归档启用加密存储。

五 快速落地清单

• 选型与级别：生产用 Pino 或 Winston，级别默认 info，按需开启 debug。
• 格式与元数据：统一 JSON，注入 service、hostname、pid、traceId。
• 输出路径：容器优先 stdout；主机侧写入滚动文件并压缩归档。
• 轮转策略：单文件不超 10–20MB，保留 7–14 天，按小时/天切分。
• 集中与告警：接入 ELK/Graylog/Loki，配置错误与延迟告警。
• 压测验证：在预发环境以目标 QPS 压测，观察 CPU、I/O、延迟抖动 并调参。