Debian Node.js 日志中访问量统计方法 - 问答

Debian Node.js 日志访问量统计实用指南

一日志规范与准备

统一日志格式：在 Node.js 中使用日志库（如 winston、morgan、pino）输出结构化日志（推荐 JSON），便于后续解析与聚合。示例字段：timestamp、method、url/path、status、responseTime、ip、userAgent。若使用 PM2，可统一将应用日志写入文件，便于集中分析。
明确日志路径与权限：常见路径包括 /var/log/nodejs/、应用目录下的 logs/ 或通过环境变量 LOG_PATH 指定；分析前确认当前用户对日志文件具备读取权限。
日志轮转与保留：使用 logrotate 防止日志过大，建议按天轮转并压缩，保留近 7 天或更长。示例配置见下文。
实时查看：排查与验证阶段可用 tail -f 实时跟踪日志更新。

二命令行快速统计

前提：日志为 JSON 行日志（每行一个 JSON 对象）。若当前为文本格式，先用 jq 或脚本转换为结构化后再统计。
统计总请求量（按行计数）
```
wc -l /var/log/nodejs/app.log
```

按小时统计请求量（按时间字段分组）

jq -r 'fromjson | .timestamp[0:13]' /var/log/nodejs/app.log \
  | sort | uniq -c | sort -nr

按路由统计 Top N（按 path 分组）

jq -r 'fromjson | .path' /var/log/nodejs/app.log \
  | sort | uniq -c | sort -nr | head -20

按状态码统计（观察 4xx/5xx 占比）

jq -r 'fromjson | .status' /var/log/nodejs/app.log \
  | sort | uniq -c | sort -nr

按 IP 统计并筛选 Top N（识别异常来源）

jq -r 'fromjson | .ip' /var/log/nodejs/app.log \
  | sort | uniq -c | sort -nr | head -20

按浏览器或操作系统统计（基于 userAgent 简单归类）

jq -r 'fromjson | .userAgent' /var/log/nodejs/app.log \
  | sed 's/.*\(Chrome\|Firefox\|Safari\|Edge\).*/\1/' \
  | sort | uniq -c | sort -nr

组合条件示例：统计 /api 路径的 5xx 错误数

jq -r 'fromjson | select(.path=="/api" and .status>=500) | .status' \
  /var/log/nodejs/app.log | wc -l

非 JSON 文本日志的兜底方法（按空格或自定义分隔符提取字段后统计，示例以空格分隔、第1列为时间、第7列为路径）
```
awk '{print $7}' /var/log/nodejs/access.log | sort | uniq -c | sort -nr
```
提示：字段位置与分隔符需按实际日志格式调整。

三可视化与集中化方案

ELK Stack（Elasticsearch + Logstash + Kibana）
- Logstash 读取日志并解析（如 grok 或 json 编解码），写入 Elasticsearch；Kibana 建立索引模式并构建仪表板（请求量趋势、Top 路由、状态码分布、IP 排行等）。
Graylog
- 集中采集、解析与检索，字段级脱敏与压缩存储，适合中小规模团队快速落地。
Grafana Loki
- 与 Grafana 无缝集成，轻量易运维，适合云原生场景；复杂查询依赖正则。
Prometheus + Grafana（指标而非日志）
- 在 Node.js 中集成 prom-client 暴露 /metrics，以 Counter 记录 http_requests_total{method,route,status}，Grafana 展示 QPS、延迟、错误率等趋势。
日志轮转配置示例（/etc/logrotate.d/nodejs）
```
/var/log/nodejs/*.log {
  daily
  missingok
  rotate 7
  compress
  notifempty
  create 0640 root adm
}
```
以上方案便于长期存储、检索与可视化，并可与告警联动。

四异常流量识别与告警

高频路径与异常参数：统计 Top N URL，并检索包含可疑关键字的请求（如 script、select、from、echo、bash、.sh），用于发现扫描与注入行为。

# Top N 路径
jq -r 'fromjson | .path' app.log | sort | uniq -c | sort -nr | head

# 可疑关键字
grep -Ei "script|select|from|echo|bash|\.sh" /var/log/nodejs/app.log | less

异常来源 IP：对 IP 计数并观察短时突发流量，结合威胁情报或封禁策略。
```
jq -r 'fromjson | .ip' app.log | sort | uniq -c | sort -nr | head
```
错误率突增：对比 2xx/4xx/5xx 随时间的变化，设置阈值告警。
实时与告警：在 Kibana 或 Grafana 中配置阈值告警；或在 Prometheus 侧对 http_requests_total 按 status 与 route 做速率告警。

0 赞

0 踩