Debian Tomcat日志中的请求统计 - 问答

Debian Tomcat日志请求统计方法

一、基础命令行统计（快速上手）

Debian系统中，Tomcat的访问日志默认位于/usr/local/tomcat/logs/（或/opt/tomcat/logs/、/var/log/tomcatX/，X为版本号），常见文件名为localhost_access_log.YYYY-MM-DD.txt（按日期分割）或catalina.out（综合日志）。以下是常用命令：

统计总访问次数：通过计算日志行数获取总请求数（每行代表一次请求）。
```
cat /usr/local/tomcat/logs/localhost_access_log | wc -l
```

统计各IP访问频次：提取日志首列（IP地址），排序并去重统计。

cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $1}' | sort | uniq -c | sort -nr

统计HTTP状态码分布：提取日志第8列（状态码，如200、404、500），统计各状态码出现次数。
```
cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $8}' | sort | uniq -c | sort -nr
```
统计高频访问URL：提取日志第7列（请求URL），找出访问次数最多的URL（head -1限制为Top1）。
```
cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $7}' | sort | uniq -c | sort -nr | head -1
```

二、使用日志分析工具（高效可视化）

对于大规模日志或需要可视化的场景，推荐使用专业工具：

GoAccess：实时Web日志分析器，支持终端和HTML报告输出，无需复杂配置。

wget https://github.com/goaccess/goaccess/releases/download/v1.6.2/goaccess-1.6.2-linux-x86_64.tar.gz
tar -xzf goaccess-1.6.2-linux-x86_64.tar.gz
cd goaccess-1.6.2
./bin/goaccess /usr/local/tomcat/logs/localhost_access_log -a

执行后会生成HTML报告，包含访问量、IP分布、URL热度等可视化数据。

ELK Stack（Elasticsearch+Logstash+Kibana）：企业级日志分析平台，支持实时采集、存储、搜索和可视化。
1. Logstash配置：解析Tomcat日志格式（如combined模式），将数据导入Elasticsearch。
2. Kibana可视化：通过Dashboard展示访问趋势、地域分布、状态码占比等图表。
Graylog：开源日志管理平台，支持集中式日志收集、搜索和报警，适合团队协作分析。

三、高级统计技巧（深度分析）

日志切割：避免单个日志文件过大，使用cronolog或logrotate按日期分割。例如，修改catalina.sh脚本，添加以下内容：
```
export CATALINA_OUT="/usr/local/tomcat/logs/catalina.%Y-%m-%d.out"
```
或使用logrotate配置文件（/etc/logrotate.d/tomcat）：
```
/usr/local/tomcat/logs/*.log {
    daily
    rotate 30
    compress
    missingok
    notifempty
}
```

自定义Servlet Filter：通过Java代码拦截所有请求，实现精准统计（如去重用户数、请求耗时）。示例代码：

public class AccessFilter implements Filter {
    private AtomicInteger requestCount = new AtomicInteger(0);
    
    @Override
    public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) 
        throws IOException, ServletException {
        requestCount.incrementAndGet();
        chain.doFilter(req, res);
    }
    
    @Override
    public void destroy() {
        System.out.println("Total requests: " + requestCount.get());
    }
}

配置web.xml注册Filter，即可统计所有请求的总数。

四、注意事项

日志格式确认：Tomcat默认使用common格式（仅IP、时间、URL、状态码），若需更详细信息（如Referer、User-Agent），需修改server.xml中的AccessLogValve配置：

<Valve className="org.apache.catalina.valves.AccessLogValve"
       directory="logs"
       prefix="localhost_access_log"
       suffix=".txt"
       pattern="%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i""
       resolveHosts="false"/>

其中%h为IP，%r为请求行，%s为状态码，%b为响应字节数。

权限问题：确保分析用户对日志目录有读取权限（如chmod -R 755 /usr/local/tomcat/logs）。

0 赞

0 踩