如何用脚本自动化处理Node日志

要使用脚本自动化处理 Node.js 应用程序的日志，您可以采用多种方法。以下介绍几种常用的方法和步骤，帮助您实现日志的自动化收集、分析和管理。

1. 使用 `pm2` 进行进程管理和日志监控

pm2 是一个流行的 Node.js 进程管理工具，支持日志管理和监控。通过配置 pm2，您可以轻松地自动化日志的生成、轮转和监控。

安装 `pm2`

首先，确保您已经安装了 pm2：

npm install pm2 -g

启动应用并配置日志

启动您的 Node.js 应用，并使用 pm2 管理它：

pm2 start app.js --name my-app

配置日志轮转

pm2 默认会处理日志轮转，但您可以通过配置文件进一步自定义。创建一个 ecosystem.config.js 文件：

module.exports = {
  apps: [
    {
      name: 'my-app',
      script: 'app.js',
      instances: 'max',
      exec_mode: 'cluster',
      log_date_format: 'YYYY-MM-DD HH:mm Z',
      out_file: './logs/out.log',
      error_file: './logs/err.log',
      merge_logs: true,
      log_level: 'info',
      time: true,
    },
  ],
};

然后使用 pm2 start ecosystem.config.js 启动应用。

查看和管理日志

查看实时日志：
```
pm2 logs my-app
```

查看日志文件：

tail -f ./logs/out.log
tail -f ./logs/err.log

日志轮转和清理：

pm2 会根据配置自动进行日志轮转。您还可以手动清理日志：
```
pm2 clear my-app
```

2. 使用 `winston` 和 `pm2` 结合进行高级日志管理

winston 是一个强大的日志库，可以灵活地配置多个传输方式和日志格式。结合 pm2，可以实现更复杂的日志管理需求。

安装 `winston`

在您的 Node.js 项目中安装 winston：

npm install winston

配置 `winston`

创建一个 logger.js 文件：

const { createLogger, format, transports } = require('winston');

const logger = createLogger({
  level: 'info',
  format: format.combine(
    format.timestamp({
      format: 'YYYY-MM-DD HH:mm:ss',
    }),
    format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
  ),
  transports: [
    new transports.File({ filename: 'logs/error.log', level: 'error' }),
    new transports.File({ filename: 'logs/combined.log' }),
  ],
});

if (process.env.NODE_ENV !== 'production') {
  logger.add(new transports.Console({
    format: format.combine(
      format.colorize(),
      format.simple()
    ),
  }));
}

module.exports = logger;

在您的应用中使用 logger：

const logger = require('./logger');

logger.info('应用启动成功');
logger.error('发生错误');

使用 `pm2` 管理日志

按照前面的步骤使用 pm2 启动和管理应用，winston 会自动将日志写入指定的文件。

3. 自动化日志分析

您可以使用脚本定期分析日志文件，提取有用信息或生成报告。例如，使用 grep、awk 或其他文本处理工具，或者编写自定义的 Node.js 脚本。

示例：使用 Shell 脚本统计错误日志数量

创建一个 log_analysis.sh 文件：

#!/bin/bash

ERROR_COUNT=$(grep -i "error" logs/err.log | wc -l)
INFO_COUNT=$(grep -i "info" logs/combined.log | wc -l)

echo "错误日志数量: $ERROR_COUNT"
echo "信息日志数量: $INFO_COUNT"

赋予执行权限并运行：

chmod +x log_analysis.sh
./log_analysis.sh

示例：使用 Node.js 脚本生成日志报告

创建一个 generate_report.js 文件：

const fs = require('fs');
const path = require('path');

const errorLogPath = path.join(__dirname, 'logs', 'err.log');
const combinedLogPath = path.join(__dirname, 'logs', 'combined.log');

fs.readFile(errorLogPath, 'utf8', (err, data) => {
  if (err) throw err;
  const errorCount = data.split('\n').filter(line => line.includes('error')).length;
  console.log(`错误日志数量: ${errorCount}`);
});

fs.readFile(combinedLogPath, 'utf8', (err, data) => {
  if (err) throw err;
  const infoCount = data.split('\n').filter(line => line.includes('info')).length;
  console.log(`信息日志数量: ${infoCount}`);
});

运行脚本：

node generate_report.js

4. 使用集中式日志管理系统

对于大型应用或分布式系统，建议使用集中式日志管理系统，如 ELK（Elasticsearch, Logstash, Kibana）、Graylog 或 Fluentd。这些系统可以集中收集、存储和分析来自多个节点的日志。

示例：使用 `fluentd` 收集 Node.js 日志

安装 fluentd

在服务器上安装 fluentd：

sudo apt-get update
sudo apt-get install fluentd

配置 fluentd

编辑 /etc/td-agent/td-agent.conf，添加输入和输出插件。例如，将日志转发到 Elasticsearch：

<source>
  @type tail
  path /path/to/your/node/logs/*.log
  pos_file /var/log/td-agent/nodejs.log.pos
  tag nodejs.*
  <parse>
    @type none
  </parse>
</source>

<match nodejs.**>
  @type elasticsearch
  host localhost
  port 9200
  logstash_format true
  flush_interval 10s
</match>

重启 fluentd
```
sudo systemctl restart td-agent
```

在 Node.js 应用中使用 td-agent 标签

修改 winston 配置，添加 tag：

const logger = createLogger({
  level: 'info',
  format: format.combine(
    format.timestamp({
      format: 'YYYY-MM-DD HH:mm:ss',
    }),
    format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
  ),
  transports: [
    new transports.File({ filename: 'logs/error.log', level: 'error' }),
    new transports.File({ filename: 'logs/combined.log' }),
  ],
  exceptionHandlers: [
    new transports.File({ filename: 'logs/exceptions.log' }),
  ],
  rejectionHandlers: [
    new transports.File({ filename: 'logs/rejections.log' }),
  ],
  exitOnError: false,
});

// 添加 tag
logger.add(new transports.FluentTransport('app', { tag: 'nodejs.error' }));

5. 使用环境变量和配置文件管理日志设置

为了提高灵活性，您可以使用环境变量或配置文件来管理日志级别、输出路径等设置。

示例：使用环境变量配置 `winston`

修改 logger.js：

const { createLogger, format, transports } = require('winston');

const logLevel = process.env.LOG_LEVEL || 'info';
const logFile = process.env.LOG_FILE || 'combined.log';

const logger = createLogger({
  level: logLevel,
  format: format.combine(
    format.timestamp({
      format: 'YYYY-MM-DD HH:mm:ss',
    }),
    format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
  ),
  transports: [
    new transports.File({ filename: logFile }),
  ],
});

if (process.env.NODE_ENV !== 'production') {
  logger.add(new transports.Console({
    format: format.combine(
      format.colorize(),
      format.simple()
    ),
  }));
}

module.exports = logger;

启动应用时设置环境变量：

LOG_LEVEL=debug LOG_FILE=./logs/debug.log node app.js

总结

自动化处理 Node.js 日志可以通过多种方式实现，包括使用进程管理工具（如 pm2）、日志库（如 winston）、脚本自动化分析以及集中式日志管理系统。根据您的应用规模和需求，选择合适的方法来管理和监控日志，以确保系统的稳定性和可维护性。

如果您有更具体的需求或遇到问题，欢迎进一步提问！

0 赞

0 踩

1. 使用 pm2 进行进程管理和日志监控

安装 pm2