Debian Node.js日志中网络请求分析

在Debian系统上分析Node.js应用程序的网络请求日志，可以通过以下几种方法和工具进行：

日志记录方法

1. 使用Morgan中间件记录HTTP请求日志：

   • 安装Morgan：npm install morgan
   • 使用Morgan记录请求响应时间：

     const express = require('express');
     const morgan = require('morgan');
     const app = express();
     
     // 使用morgan中间件，预定义格式为'tiny'
     app.use(morgan('tiny'));
     
     app.get('/', (req, res) => {
       res.send('Hello World!');
     });
     
     app.listen(3000, () => {
       console.log('Server is running on port 3000');
     });
     

2. 自定义日志格式：

   • Morgan允许自定义日志格式，可以包含响应时间：

     app.use(morgan('method url status res[content-length] - response-time ms'));
     

3. 使用Koa中间件记录响应时间：

   • 在Koa应用中，可以利用中间件机制记录服务器的响应时间：

     const Koa = require('koa');
     const app = new Koa();
     
     app.use(async (ctx, next) => {
       let stime = new Date().getTime(); // 记录当前时间戳
       await next(); // 事件控制权中转
       let etime = new Date().getTime(); // 所有中间件执行完成后记录当前时间
       console.log(`请求地址: ${ctx.path} ，响应时间: ${etime - stime} ms`);
     });
     
     app.use(async (ctx, next) => {
       console.log('中间件 doSomething');
       await next();
       console.log('中间件执行 over');
     });
     
     app.listen(3000, () => {
       console.log('server is running at http://localhost:3000');
     });
     

4. 使用Winston记录日志：

   • Winston是Node.js中流行的日志库，支持灵活的日志记录和多种传输方式：

     const winston = require('winston');
     const logger = winston.createLogger({
       level: 'info',
       format: winston.format.json(),
       transports: [
         new winston.transports.Console(),
         new winston.transports.File({ filename: 'error.log', level: 'error' }),
         new winston.transports.File({ filename: 'combined.log' }),
       ],
     });
     
     app.use((req, res, next) => {
       const start = Date.now();
       res.on('finish', () => {
         const responseTime = Date.now() - start;
         logger.info({ req: req.method, reqUrl: req.url, res: res.statusCode, responseTime: responseTime + ' ms' });
       });
       next();
     });
     

日志分析工具

1. 使用ELK（Elasticsearch, Logstash, Kibana）堆栈进行日志采集和分析：

   • 日志采集：使用Filebeat或Logstash收集日志。
   • 日志存储：将日志存储在Elasticsearch中。
   • 日志分析：使用Kibana创建仪表板，可视化请求响应时间等指标。

2. 使用Wireshark图形化工具分析网络数据包：

   • Wireshark是一个强大的网络协议分析器，可以帮助你更直观地查看和分析网络数据包。

通过上述方法，可以有效地记录和分析Node.js应用中的网络请求日志，帮助开发者监控和优化应用性能。