Node.js在Ubuntu日志中显示慢查询怎么办 - 问答

定位与处理步骤

一快速定位慢请求

确认日志路径与输出方式：检查应用配置或代码中的日志文件路径与级别，确保包含响应时间、请求路径、状态码等关键字段。
实时查看尾部日志：使用命令快速筛查最新输出与异常。
示例：tail -n 200 /var/log/yourapp.log
关键词检索：按常见慢查询标记或阈值过滤。
示例：grep -i "slow query" /var/log/yourapp.log | grep -i "100ms"
结构化日志分析：若日志为JSON格式，可用jq按耗时字段筛选。
示例：jq 'select(.duration > 100)' combined.log
命令行聚合统计：用awk计算平均响应时间、P95/P99 等。
示例：awk '{sum+=$2; count++; arr[NR]=$2} END {asort(arr); p95=arr[int(count*0.95)]; print "avg:", sum/count, "ms; p95:", p95, "ms"}' combined.log
集中化分析：将日志接入ELK/Graylog等平台，便于按时间、接口、状态码、耗时阈值做可视化与告警。

二在 Node.js 中准确记录耗时

HTTP 中间件埋点：在请求开始记录时间，在结束（finish/close）时计算耗时并打点。
示例：

const express = require('express');
const app = express();
app.use((req, res, next) => {
  const start = Date.now();
  res.on('finish', () => {
    const duration = Date.now() - start;
    if (duration > 100) { // 阈值示例：100ms
      console.log(`Slow request: ${req.method} ${req.url} - ${duration}ms`);
    }
  });
  next();
});
app.listen(3000);

使用日志库输出结构化日志：如winston/pino配合morgan，便于检索与聚合。
示例：

const express = require('express');
const morgan = require('morgan');
const winston = require('winston');
const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [
    new winston.transports.File({ filename: 'error.log', level: 'error' }),
    new winston.transports.File({ filename: 'combined.log' })
  ]
});
app.use(morgan('combined', { stream: { write: msg => logger.info(msg.trim()) } }));

数据库查询耗时埋点：在每次查询前后记录开始/结束时间，输出SQL、参数与耗时。
示例：

const { Pool } = require('pg');
const pool = new Pool();
const start = Date.now();
pool.query('SELECT * FROM users WHERE id = $1', [userId], (err, res) => {
  const duration = Date.now() - start;
  if (err) return logger.error(`Query failed: ${err.stack}`);
  logger.info(`Query ${duration}ms: SELECT * FROM users WHERE id = $1`, [userId]);
});

高精度计时：对关键函数使用**process.hrtime()**获取更高精度耗时。
示例：

const start = process.hrtime();
// ... your code
const [s, ns] = process.hrtime(start);
const ms = s * 1000 + ns / 1e6;
console.log(`Execution time: ${ms.toFixed(2)} ms`);

性能分析辅助：使用node --inspect或node --prof定位热点函数，配合Chrome DevTools或性能报告深入分析。

三数据库侧慢查询排查与优化

开启数据库慢查询日志：如PostgreSQL的log_min_duration_statement，将执行时间超过阈值的 SQL 写入日志。

使用pg_stat_statements识别最耗时的语句与调用特征：
示例：

CREATE EXTENSION IF NOT EXISTS pg_stat_statements;
SELECT query, calls, total_time, rows,
       100.0 * shared_blks_hit / nullif(shared_blks_hit + shared_blks_read, 0) AS hit_percent
FROM pg_stat_statements
ORDER BY total_time DESC
LIMIT 10;

优化手段：为高频条件列添加索引、重写复杂查询、使用分页/游标、对热点数据做缓存（如 Redis）。

四监控告警与持续优化

建立可视化与告警：在Kibana/Grafana构建P50/P95/P99延迟、吞吐、错误率等仪表盘，设置阈值告警。
进程与性能监控：使用PM2的监控能力观察CPU/内存与事件循环延迟。
示例：pm2 start app.js --name my-app && pm2 monit

日志轮转与容量管理：使用logrotate避免日志过大。
示例：

sudo nano /etc/logrotate.d/nodejs
/path/to/your/nodejs/logs/*.log {
  daily
  rotate 7
  missingok
  notifempty
  compress
  delaycompress
  sharedscripts
}

持续优化闭环：定期复盘慢请求 Top N，优先优化数据库、外部依赖与计算密集路径，结合缓存与异步化降低尾延迟。

0 赞

0 踩