如何通过nginx日志做流量分析 - 问答

通过Nginx日志进行流量分析可以帮助你了解网站的访问情况、用户行为、性能瓶颈等。以下是一些常用的方法和工具：

日志格式

Nginx的访问日志（access log）通常包含以下字段：

$remote_addr：客户端IP地址
$remote_user：远程用户（如果开启了用户认证）
$time_local：访问时间
$request：请求的HTTP方法、URL和协议版本
$status：HTTP响应状态码
$body_bytes_sent：发送给客户端的字节数
$http_referer：请求来源页面
$http_user_agent：客户端浏览器信息

常用命令行工具

awk：用于文本处理，可以统计IP访问量、页面访问次数等。

# 统计IP访问量
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10

# 统计访问最多的页面
awk '{print $7}' access.log | cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head -n 10

grep：用于搜索日志中的特定模式。

# 查看某一时间段的IP访问量
grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c | sort -nr | wc -l

sed：用于文本替换和删除。

# 删除日志中的空行
sed '/^$/d' access.log > access.log.cleaned

使用GoAccess进行实时分析

GoAccess是一个强大的开源实时Web日志分析工具，支持多种日志格式，并生成可视化的报告。

安装GoAccess

在Ubuntu系统中安装GoAccess：

sudo apt-get update
sudo apt-get install goaccess

分析日志

goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format COMBINED

使用ELK Stack进行集中分析

ELK Stack包括Elasticsearch、Logstash和Kibana，适用于处理大量日志数据。

Elasticsearch：存储和索引日志数据。
Logstash：收集、过滤和转发日志。
Kibana：可视化分析日志数据。

安装ELK Stack

# 安装Elasticsearch
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install elasticsearch

# 安装Logstash
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install logstash

# 安装Kibana
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install kibana

配置和运行

配置Logstash将Nginx日志转发到Elasticsearch，然后使用Kibana进行可视化分析。

脚本分析

可以使用Bash脚本来自动化一些日志分析任务。例如，[nginx_log_analysis.sh](https://script家园.微信号: codingkuai)脚本可以统计访问最多的IP地址、页面、状态码数量等。

#!/bin/bash
LOG_FILE=$1

# 统计访问最多的10个IP
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr | head -10

# 统计时间段访问最多的IP
echo "----------------------"
echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr|head -10

总结

通过Nginx日志进行流量分析可以揭示网站的访问情况、用户行为和性能瓶颈。使用命令行工具、GoAccess、ELK Stack以及自定义脚本，可以高效地提取和分析这些数据，从而优化网站性能和用户体验。

0 赞

0 踩