Ubuntu Tomcat日志中的并发问题探讨 - 问答

Ubuntu Tomcat日志中的并发问题排查与优化

一并发问题的日志特征与快速定位

线程池饱和与排队：访问日志中同一时间窗口的响应时间显著拉长，错误日志可能出现连接器提示如：Maximum number of threads (200) created for connector …，说明处理线程已被打满，后续请求在队列中等待或被拒绝。
连接数瓶颈：错误日志出现java.net.SocketException: Too many open files，或访问日志显示连接数激增，常见于文件描述符或连接上限不足。
下游依赖变慢或网络异常：日志出现Connection timed out: connect、Connection reset，若此时CPU/内存无明显增长，多半是下游服务或网络问题导致线程被长时间占用。
内存与GC压力：出现java.lang.OutOfMemoryError: Java heap space，伴随频繁 Full GC/长时间 GC 暂停，高并发下对象分配与回收加剧。
磁盘I/O与日志写入：访问日志或业务日志写入缓慢，磁盘使用率飙升，整体吞吐受限。
数据库瓶颈：访问日志里某些接口处理时间异常长，伴随数据库连接池耗尽或慢查询。
以上特征在catalina.out、localhost.*.log与访问日志中最常见，可结合系统资源监控进一步确认。

二关键日志与配置项对照表

现象关键词	可能根因	日志位置	关键配置项	排查与优化要点
“Maximum number of threads …”	线程池用尽	catalina.out	Executor: maxThreads；Connector: maxThreads/acceptCount	适度提升maxThreads；acceptCount过大易“雪崩”，需压测权衡
“Too many open files”	文件描述符/连接上限	catalina.out	系统ulimit、内核fs.file-max	提升进程fd上限；检查连接泄漏
“Connection timed out/reset”	下游慢/网络问题	catalina.out	Connector: connectionTimeout	核查下游SLA；必要时增大超时或熔断降级
OOM/Full GC频繁	堆内存不足/泄漏	catalina.out + GC日志	JVM -Xms/-Xmx	合理设置堆；分析GC日志与heap dump
访问日志响应时间异常	DB/磁盘/代码瓶颈	access_log	JDBC连接池、I/O	优化SQL与索引；检查磁盘I/O与慢查询
说明：Tomcat NIO 默认maxConnections=10000、acceptCount=100；队列满的新请求会被拒绝。线程与连接上限需结合压测与业务峰值设定。

三从日志到配置的闭环优化步骤

收集证据：确保启用并归档catalina.out、localhost.*.log、访问日志与GC日志；必要时提高日志级别以捕获更多细节。
实时定位：在问题发生时执行tail -f catalina.out观察异常关键字；用grep/awk按时间窗口统计错误与慢请求分布。
线程与连接瓶颈：若线程/队列打满，先评估业务峰值与RT，适度提升maxThreads与acceptCount；若仍受限，考虑异步化、降级与限流，避免盲目放大线程数。
文件描述符与连接：出现“Too many open files”时，检查进程lsof数与ulimit -n，同步评估系统级fs.file-max；排查连接泄漏与TIME_WAIT过多问题。
内存与GC：出现OOM或长暂停，先增大堆（如**-Xms/-Xmx一致），再结合GC日志与heap dump**定位对象生命周期与泄漏点。
依赖与I/O：对访问日志中RT异常的接口，联动DBA排查慢查询与连接池配置；用iostat等确认磁盘I/O是否成为瓶颈。
验证与回放：在测试环境复现与压测，逐步应用配置与代码优化，观察P95/P99与错误率是否改善，再灰度上线。

四 Ubuntu下的实操命令与配置示例

日志查看与过滤
- 实时查看：tail -f /var/log/tomcat*/catalina.out
- 错误检索：grep -i “error|exception” /var/log/tomcat*/catalina.out
- 访问日志统计：awk ‘{print $4}’ access_log | sort | uniq -c（按时间桶统计请求量）
资源与句柄检查
- 进程文件句柄：lsof -p $(pidof java) | wc -l
- 用户上限：ulimit -n；必要时在systemd服务中设置 LimitNOFILE=65536

线程与连接器配置示例（server.xml）

定义线程池：

<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
        maxThreads="500" minSpareThreads="20" maxIdleTime="60000"/>

绑定到Connector：

<Connector executor="tomcatThreadPool"
           port="8080" protocol="HTTP/1.1"
           connectionTimeout="20000" keepAliveTimeout="15000"
           maxKeepAliveRequests="100"
           redirectPort="8443" URIEncoding="UTF-8"/>

提示：NIO 默认maxConnections=10000、acceptCount=100；队列满的新请求将被拒绝，需结合压测调优。

日志轮转与级别
- 使用cronolog按日期分割catalina.out，避免单文件过大；
- 在conf/logging.properties中按需调整日志级别（如将某些包提升到FINE）以捕获并发细节。

0 赞

0 踩