Debian下WebLogic故障排查方法有哪些

Debian下WebLogic故障排查方法

一 快速定位流程

• 查看系统层面：使用tail -f /var/log/syslog、dmesg、journalctl -xe确认内核与系统服务的异常；检查资源使用（top/htop、free、iostat）是否存在CPU、内存、磁盘I/O瓶颈。
• 确认进程与端口：用ps aux | grep weblogic定位Java进程；用netstat -tulpen | grep java或ss -ltnp | grep java核对监听端口（管理端口常见为7001）。
• 网络连通性：对管理地址执行ping与telnet/nc 目标IP 7001，验证端口可达与防火墙策略。
• 服务状态与启停：若已配置为系统服务，使用systemctl status weblogic查看状态，必要时systemctl restart weblogic恢复。
• 收集WebLogic日志：重点查看**$DOMAIN_HOME/logs/server.log**、access.log等，优先检索ERROR/Exception/OutOfMemoryError等关键字。

二 日志与诊断要点

• 日志位置与类型：
  • 服务器日志：$MW_HOME/user_projects/domains//servers//logs/server.log
  • 访问日志：…/servers//logs/access.log
  • 域日志：…/servers//logs/.log
• 高效检索与分析：
  • 关键字过滤：grep -i “error|exception|outofmemoryerror” server.log
  • 时间段统计：按日期过滤错误数，例如
    • awk ‘/error/ {print $1,$2,$3}’ server.log | grep “2025-12-03”
  • 实时跟踪：tail -f server.log | egrep “ERROR|WARN”
• 日志轮转与归档：使用logrotate防止日志过大，便于长期分析与审计。
• 线程与内存取证：
  • 线程Dump：通过管理控制台或jstack 获取线程快照，定位BLOCKED/WAITING热点。
  • 堆转储与分析：开启/导出heap dump，用Eclipse MAT或VisualVM/JProfiler分析泄漏根因。
• GC与本地内存：开启**-verbose:gc记录GC行为，配合jstat -gc 观察回收效果；若怀疑本地内存耗尽，用pmap -x **、**ps -o vsz **观察虚拟内存增长。

三 常见故障场景与处理

• 管理端口无法访问：
  • 现象：telnet/nc连不通7001。
  • 处理：核对进程与端口（ps/netstat/ss）、检查iptables/firewalld、确认监听地址为0.0.0.0而非127.0.0.1、排查config.xml与安全策略。
• 内存溢出 OOM：
  • 现象：日志出现OutOfMemoryError。
  • 处理：分析heap dump（MAT）、优化代码与缓存、调整JVM参数（见下节）、必要时扩容物理内存。
• 节点频繁重启或集群异常：
  • 现象：被管节点自动shutdown/重启。
  • 处理：核对Admin/受管节点资源（CPU/内存/I/O）、查看server.log与GC日志、排查依赖系统（数据库/缓存/消息）异常、复核集群通信与健康检查配置。
• 控制台卡顿或响应慢：
  • 现象：管理控制台操作延迟。
  • 处理：排查CPU飙高、线程阻塞、后端数据源/外部依赖慢查询、网络抖动等。

四 JVM与系统参数优化建议

• 堆与元空间：
  • 设置初始/最大堆：-Xms与**-Xmx**（建议等值，避免运行期扩缩带来抖动）。
  • 元空间：-XX:MaxMetaspaceSize=…（JDK 8+），避免无限制增长。
• GC策略：根据负载选择并行/CMS/G1等收集器，并开启**-verbose:gc**与日志文件输出，便于长期观测与调优。
• 本地内存与容器边界：
  • 注意：-Xmx只限制Java堆，JVM进程总占用还包含元空间、线程栈、JNI/本地库、Direct Memory等；在容器/受限环境中需同时核对容器内存限制与操作系统ulimit。
• 线程与连接：结合threads、work managers、JDBC/数据源连接池与线程Dump联动调优，避免线程饥饿与连接泄漏。
• 变更与回滚：参数调整后滚动重启生效，保留基线配置与回滚方案。

五 一键排查命令清单

• 系统与资源：
  • 查看系统日志：tail -f /var/log/syslog；内核日志：dmesg；服务日志：journalctl -xe
  • 资源监控：top/htop、free -m、iostat -x 1
• 进程与端口：
  • 进程定位：ps aux | grep weblogic
  • 端口与连接：ss -ltnp | grep java 或 netstat -tulpen | grep java
• 网络连通：
  • 可达性：ping <管理地址>；端口：telnet 7001 或 nc -vz 7001
• WebLogic日志：
  • 实时查看：tail -f $DOMAIN_HOME/logs/server.log
  • 错误检索：grep -i “error|exception|outofmemoryerror” server.log
  • 时间段统计：awk ‘/error/ {print $1,$2,$3}’ server.log | grep “2025-12-03”
• 取证与分析：
  • 线程Dump：jstack > threaddump.txt
  • 堆转储与分析：jmap -dump:format=b,file=heap.hprof ，再用MAT/VisualVM分析
  • GC观察：jstat -gc 1s
  • 虚拟内存：pmap -x 、ps -o vsz