怎样通过Nginx日志进行流量分析

通过Nginx日志进行流量分析可以帮助你了解网站的访问情况，优化网站性能，并提升用户体验。以下是几种常用的方法：

使用 goaccess 进行流量分析

goaccess 是一个实时分析Web日志的工具，可以生成HTML报告，并提供关于访问量、用户行为、引用页面等的详细统计信息。

安装 goaccess

sudo apt-get install goaccess

使用 goaccess 分析日志

goaccess /path/to/nginx/access.log -a

• -a 选项表示生成详细的分析报告。

配置 goaccess

你可以通过编辑 goaccess.conf 文件来自定义报告的格式和内容。

使用 Shell 脚本进行流量分析

以下是一个简单的Shell脚本示例，用于统计访问最多的IP地址、页面和状态码数量。

#!/bin/bash

LOG_FILE=$1

# 统计访问最多的10个IP
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr |head -10

# 统计时间段访问最多的IP
echo "----------------------"
echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10

# 统计访问最多的10个页面
echo "----------------------"
echo "统计访问最多的10个页面"
awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>10)print v,a[v]}}' $LOG_FILE |sort -k2 -nr

# 统计访问页面状态码数量
echo "----------------------"
echo "统计访问页面状态码数量"
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}' $LOG_FILE |sort -k3 -nr

日志格式

Nginx日志的主要格式是 combined，包含以下字段：

• $remote_addr: 客户端IP地址
• $remote_user: 远程用户（如果开启了认证）
• $time_local: 日志时间
• $request: HTTP请求方法、URL和协议版本
• $status: HTTP响应状态码
• $body_bytes_sent: 发送给客户端的字节数
• $http_referer: 引用页面的URL
• $http_user_agent: 客户端软件信息

通过上述方法和工具，你可以有效地分析Nginx日志，获取有价值的流量统计信息，从而优化网站性能和用户体验。