centos中weblogic故障排查方法

在CentOS中排查WebLogic故障通常涉及以下步骤：

1. 确定故障类型

• 硬件问题：检查服务器硬件状态，如CPU、内存、磁盘空间等。
• 软件问题：检查WebLogic配置、日志文件、应用程序代码等。
• 网络问题：检查网络连接、端口状态等。

2. 查看日志文件

• WebLogic日志：通常位于DOMAIN_HOME/servers/server_name/logs目录下，主要关注AdminServer.out、server_name.out和server_name.log这三个文件。
• 系统日志：检查/var/log目录下的系统日志，查找错误消息和警告。

3. 检查进程和服务

使用ps、top和systemctl等工具检查运行的进程和服务状态。

4. 网络诊断

使用ping、traceroute和netstat等工具检查网络连接和端口状态。

5. 具体故障排查步骤

内存泄漏故障排查

• 症状：JVM抛出java.lang.OutOfMemoryError异常，服务响应缓慢或不响应业务请求。
• 可能原因：没有足够的堆空间、对象活动时间过长、应用程序缓存过多、内存泄漏、JVM错误未能执行完整的GC、内存碎片。
• 排查步骤：
  1. 获取应用进程号：ps -ef | grep 应用名
  2. 查看JVM堆使用情况、垃圾回收情况：jstat -gcutil pid 100010（时间间隔1000ms，输出10次）
  3. 开启OOM快照：在启动参数里加-XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/heapdump.hprof
  4. 查看方法栈信息：jstack -l pid /path/to/jstack.txt
  5. 查看JVM内存分配及使用情况：jmap -heap pid /path/to/jmapHeap.txt
  6. 使用内存分析工具（如Memory Analyzer (MAT)）分析堆转储文件。

服务器挂起故障排查

• 症状：请求未得到处理，服务器表现为不执行任何操作或处理请求时间越来越长。
• 可能原因：配置的线程数不足、垃圾回收花费太多时间、JVM在代码优化期间挂起、应用程序死锁、JDBC死锁、所有线程都在等待对远程JVM的RMI调用响应、JSP编译、JSP的Servlet时间设置不当。
• 排查步骤：
  1. 执行ping命令检查服务器是否响应。
  2. 使用-verbose:gc参数重新启动服务器，检查是否运行GC。
  3. 登录控制台查看执行线程的运行情况：Domainname-servers-servername-monitoring-General-Monitor All Active Queues。
  4. 抓取故障时刻的线程信息：jstack pid（kill -3 pid）。
  5. 利用工具分析线程信息。

6. 常见错误及解决方法

• 内存不足：增加JVM堆空间，优化应用程序代码，减少内存泄漏。
• 配置错误：检查WebLogic配置文件（如config.xml）是否正确。
• 许可证问题：确保WebLogic许可证有效且配置正确。
• 依赖项问题：检查所有依赖的软件或库是否正确安装和配置。

7. 性能调优

• 检查频繁的标准输出或日志：减少日志操作，关闭不必要的日志输出。
• 内存设置：根据服务器CPU个数设置合适的堆内存大小，一般建议正式域设置为-Xms1024m -Xmx1024m。
• 线程数优化：根据服务器CPU个数调整线程数，一般每个CPU可负担25个线程，最好不要超过50个。

8. 使用WebLogic管理控制台

访问WebLogic管理控制台（通常为http://localhost:7001/console），查看服务器状态、应用状态等。

9. 检查应用程序日志

检查应用程序的日志，如Java应用的application.log或catalina.out等，以查找应用程序级别的问题。

10. 使用第三方工具进行性能分析和故障排查

使用JConsole、VisualVM等工具对WebLogic Server进行性能分析和故障排查。

11. 重启WebLogic Server或系统

如果问题仍然无法解决，可以尝试重启WebLogic Server或整个系统，看是否能解决问题。

以上步骤可以帮助你系统地排查和解决CentOS上WebLogic的故障，确保系统的稳定性和可靠性。如果问题依然存在，建议查阅WebLogic的官方文档或寻求专业技术支持。