Debian环境下WebLogic的故障排查技巧有哪些

Debian环境下WebLogic故障排查技巧

一 快速定位流程

• 查看系统层日志与内核消息：使用tail -f /var/log/syslog、journalctl -xe、dmesg，先捕捉启动、驱动、OOM、网络等系统级异常。
• 核对服务与进程：用systemctl status weblogic确认单元状态；用ps aux | grep weblogic定位PID、启动参数、工作目录与占用。
• 资源体检：用top/htop看CPU/内存，free -m看可用内存与Swap，iostat -x 1看磁盘IO，netstat -tulpen | grep :7001或ss -lntp | grep :7001确认监听。
• 网络连通：对管理端口（默认7001）做telnet 目标IP 7001或nc -vz 目标IP 7001；必要时检查iptables/nftables与云安全组。
• 定位WebLogic日志：优先查看**$DOMAIN_HOME/logs/server.log**、access.log与域日志，用tail -f、grep -i error快速筛查异常堆栈与错误码。
• 配置与控制台：核对**$DOMAIN_HOME/config/config.xml关键配置，必要时通过管理控制台**核查应用部署、数据源、线程池与健康状态。
• 变更与恢复：完成取证后执行systemctl restart weblogic或滚动重启受管节点，避免同时重启导致业务中断。
• 加固与更新：执行sudo apt update && sudo apt upgrade保持系统组件与依赖处于安全稳定版本。

二 日志分析与检索

• 日志路径速查：
  • 访问日志：$MW_HOME/user_projects/domains//servers//logs/access.log
  • 服务器日志：$MW_HOME/user_projects/domains//servers//logs/.log
  • 域日志：$MW_HOME/user_projects/domains//logs/.log
• 命令行高效检索：
  • 实时跟踪：tail -f $DOMAIN_HOME/logs/server.log
  • 关键字定位：grep -i “error|exception|fail” $DOMAIN_HOME/logs/server.log
  • 时段统计：awk ‘/error/ {print $1,$2,$3}’ $DOMAIN_HOME/logs/server.log | grep “2025-12-05”’
• 日志治理与可视化：用logrotate做按日轮转与压缩；将日志接入Logstash/Graylog集中化，或用GoAccess对access.log做响应时间、错误率与热点URL分析。

三 常见故障场景与要点

• 管理端口访问异常：
  • 现象：浏览器或客户端连不上7001。
  • 排查：ss/ netstat确认监听地址为0.0.0.0或正确内网IP；iptables/nftables与云安全组放行7001/TCP；外部用telnet/nc验证连通；必要时在本地回环测试。
• 节点频繁重启或Admin卡顿：
  • 现象：被管节点自动shutdown/重启、控制台响应慢。
  • 排查：结合server.log与健康页，关注CPU/内存/IO压力；抓取线程dump分析活动线程与锁竞争；排查集群通信、依赖系统（如数据库/缓存）异常。
• 内存溢出与泄漏：
  • 现象：出现java.lang.OutOfMemoryError（Java堆）或进程被系统终止（本机/堆外OOM）。
  • 排查：
    • 区分类型：Java堆OOM通常在应用日志；本机OOM可能在stdout/stderr或伴随SIGABRT与core。
    • 打开详细GC：如**-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:**；观察GC前后堆使用与Full GC效果。
    • 堆转储分析：发生OOM时生成heap dump，用Eclipse MAT定位泄漏对象与支配树。
    • 资源与配置：复核**-Xms/-Xmx与线程/连接池配比；检查JNI/第三方本地库**与本机内存占用；必要时优化会话与缓存策略。

四 性能瓶颈与系统层诊断

• CPU瓶颈：用top/htop识别占用最高的Java线程，结合**jstack **抓取线程栈，定位热点循环、锁竞争与阻塞。
• 内存压力：用free -m与sar -r观察可用内存与换页；若频繁Full GC且回收效果差，结合GC日志与heap dump判断对象生命周期与泄漏。
• 磁盘IO：用iostat -x 1识别高await/svctm与高util的设备，排查日志写入、镜像仓库或数据库瓶颈。
• 网络与连接：用ss -s看套接字统计，netstat -anp | grep :7001定位TIME_WAIT/CLOSE_WAIT堆积；必要时调整SO_REUSEADDR、连接超时与后端连接池。
• 深入追踪：对可疑进程使用strace -p -T -f -o /tmp/strace.out跟踪系统调用，定位文件、网络或权限类问题。

五 排障命令清单与最小复现建议

• 一键清单（按需组合）：
  • 系统状态：systemctl status weblogic
  • 进程与参数：ps aux | grep weblogic、jps -v
  • 资源：top/htop、free -m、iostat -x 1、df -h
  • 网络：ss -lntp | grep :7001、nc -vz 目标IP 7001、ping
  • 日志：tail -f $DOMAIN_HOME/logs/server.log、grep -i error $DOMAIN_HOME/logs/*.log
  • 内核与系统：dmesg -T | tail、journalctl -xe
• 最小复现与变更管理：
  • 先在测试环境用相同JDK/补丁/配置复现；保留首次异常现场（日志、线程dump、heap dump）。
  • 变更遵循“备份—灰度—回滚”，一次只改一个变量（如仅调**-Xmx**或仅改线程池）。
  • 建立基线指标（CPU/内存/IO/请求时延/错误率），便于对比与告警。