Ubuntu Node.js日志存储策略及最佳实践

Ubuntu Node.js 日志存储策略与最佳实践

一 策略总览

• 采用结构化日志（JSON），便于检索、分析与可视化；优先选择高性能库如 Pino、Winston，在高并发下可显著降低日志开销。
• 实施日志轮转与压缩归档，按时间与大小双维度控制，避免单文件过大与数量失控。
• 区分环境级别：生产仅记录 warn/error，开发/测试可开启 debug/info。
• 坚持异步写入，避免阻塞事件循环；对外部系统日志（如 Nginx、systemd）采用集中化采集。
• 将日志落盘在SSD或高性能存储，并配置监控与告警，防止磁盘被日志打满。
• 多实例/多服务器场景使用集中式日志管理（如 ELK/Graylog），减少本地存储压力并提升可观测性。

二 日志库与级别配置

• 库选型与特性

• 级别与输出建议
  • 生产：最低级别设为 warn，错误单独落盘；非生产可输出到控制台便于排查。
  • 结构化输出示例（Winston）：
    • 安装：npm i winston
    • 配置：
      • const winston = require(‘winston’);
      • const logger = winston.createLogger({
        level: process.env.NODE_ENV === ‘production’ ? ‘warn’ : ‘debug’,
        format: winston.format.json(),
        transports: [
        new winston.transports.File({ filename: ‘error.log’, level: ‘error’ }),
        new winston.transports.File({ filename: ‘combined.log’ }),
        …(process.env.NODE_ENV !== ‘production’ ? [new winston.transports.Console({ format: winston.format.simple() })] : [])
        ]
        });
  • 性能要点：保持异步写入；避免同步 I/O；必要时对日志字段做采样/降级。

三 轮转与保留策略

• 系统级 Logrotate（通用、无需改代码）
  • 配置路径：/etc/logrotate.d/node-app
  • 示例策略：
    • /var/log/nodejs/*.log {
      daily
      rotate 7
      compress
      missingok
      notifempty
      create 0640 root adm
      copytruncate
      }
  • 说明：
    • daily/rotate 7/compress 控制按天轮转并保留 7 天；
    • copytruncate 适用于无法重启进程的场景（先复制再清空原文件）；
    • 测试：sudo logrotate -f /etc/logrotate.d/node-app。
• 库内置轮转（应用内控制）
  • Winston + daily-rotate-file：
    • 安装：npm i winston-daily-rotate-file
    • 配置：
      • const DailyRotateFile = require(‘winston-daily-rotate-file’);
      • const transport = new DailyRotateFile({
        filename: ‘/var/log/nodejs/app-%DATE%.log’,
        datePattern: ‘YYYY-MM-DD’,
        zippedArchive: true,
        maxSize: ‘100m’,
        maxFiles: ‘30d’
        });
  • PM2 管理场景：启用 pm2-logrotate 插件
    • 设置：pm2 set pm2-logrotate:max_size 10M、pm2 set pm2-logrotate:retain 7。
• 保留策略建议
  • 按时间：常规业务保留 7–30 天；合规/审计场景按需延长并异地归档。
  • 按大小：单文件建议 10–100 MB，结合压缩与保留天数控制总量。

四 存储与目录规范

• 目录与权限：统一落盘到 /var/log/nodejs/，权限 0640，属主 root:adm，便于系统统一管理。
• 存储硬件：优先 SSD/NVMe，提升高并发写入与检索性能。
• 系统日志联动：
  • 使用 journalctl 管理 systemd 日志（如：journalctl --vacuum-size=100M 控制 systemd 日志体积）；
  • 非阻塞查看：journalctl -u your-app.service -f。
• 容量与清理：
  • 观测：du -sh /var/log/nodejs/*、df -h；
  • 清理：按保留策略定期删除旧日志，避免磁盘占满导致服务异常。

五 集中化与监控告警

• 集中化采集与可视化
  • 自建：ELK Stack（Elasticsearch+Logstash+Kibana） 或 Graylog，统一收集、解析、存储与可视化；
  • 托管/轻量：Loggly、Grafana Loki（低成本、与 Prometheus/Grafana 生态契合）。
• 进程与多实例管理
  • 使用 PM2 聚合多进程日志：pm2 logs；结合 pm2-logrotate 控制本地保留。
• 监控与告警
  • 资源与日志联动监控：PM2、Datadog、New Relic、Prometheus；
  • 关键指标：磁盘使用率、日志写入速率、错误率、P95/P99 延迟；
  • 建议设置磁盘阈值告警（如 ≥80% 预警、≥90% 紧急），并配置自动清理/扩容流程。