centos informix怎么故障排查

CentOS系统上Informix数据库故障排查指南

一、基本排查流程

1. 明确问题现象：详细记录故障表现（如错误消息、系统行为异常、问题发生时间点），尝试在测试环境重现问题以确定触发条件。
2. 收集系统与数据库信息：使用uname -a查看系统内核版本；通过onstat -k all检查Informix实例状态（运行/停止、内存/进程使用）；查看Informix日志（默认路径：/opt/IBM/informix/log/server.log或/var/log/informix/online.log）及系统日志（/var/log/messages、journalctl -xe）获取错误详情。
3. 分析故障原因：结合收集的信息，判断故障类型（硬件故障、软件配置错误、网络问题、资源瓶颈等）。
4. 定位故障点：通过专用工具缩小范围（如onstat监控系统状态、onlog解析日志、onparams管理日志空间），逐步定位具体进程、配置项或硬件。
5. 解决问题并验证：针对原因采取对应措施（如修改配置、更换硬件、优化SQL），执行后验证故障是否解决。
6. 记录与预防：将排查过程、解决方法记录成文档；定期备份数据、加强系统监控（如top、iostat）、优化配置（如调整内存分配）以降低故障概率。

二、常见故障及具体排查步骤

1. 长事务问题

• 故障现象：出账业务无法处理、批价卡住、前台应用全部失败、多个表被锁死。
• 排查步骤：
  ① 用onstat -x -r 10监控长事务回滚状态，通过日志回滚速率估算剩余时间；
  ② 查看Informix运行日志（路径通过onstat -c | grep MSG获取），找到最近一条“Aborting Long Transaction”记录，确定具体事务；
  ③ 用onstat -u | grep (userthread)查找关联会话ID，再用onstat -g ses <session_id>查看会话执行的SQL，定位触发长事务的动作。
• 解决方法：将大事务拆分为小事务分批次提交；确保分配足够的逻辑日志空间；升级到Informix 9.3及以上版本，支持动态增加逻辑日志。

2. 逻辑日志满

• 故障现象：数据库停止所有操作，无法写入数据。
• 排查步骤：
  ① 用onstat -l查看逻辑日志状态，若所有日志的flags显示为U-（已使用未备份），则需检查备份流程（如磁带满、磁带机故障）；
  ② 用onstat -x检查事务的beginlg字段，确认是否有活动事务或检查点信息占用日志（包含检查点的日志需保留至快速恢复完成）。
• 解决方法：解决备份问题（如清理磁带空间、修复磁带机）；若无法快速修复，使用onparams -a -d <DBspace> -s <size> -i在当前日志后动态增加新日志（IDS 9.3及以上版本支持，无需执行0级备份）。

3. 频繁锁冲突

• 故障现象：出现锁错误码（如-243“Could not position within a table”、-244“Could not do a physical-order read to fetch next row”），SQL执行失败。
• 排查步骤：
  ① 确定冲突表的partnum（通过select partnum from systables where tabname='table_name'或oncheck -pt database:tabname获取）；
  ② 用onstat -k | grep <partnum>查找锁信息，关注owner字段（锁拥有者的地址）；
  ③ 用onstat -u | grep <owner>获取锁拥有者的会话ID，进而定位具体会话及执行的SQL。
• 解决方法：调整隔离级别（如使用行级锁替代页级锁，降低锁冲突概率）；设置合理的锁等待时间（通过LOCKMODE参数调整）；优化SQL（如添加索引、减少全表扫描），缩短事务执行时间。

4. 数据库Chunk I/O失败

• 故障现象：数据库日志中出现“chunk IO error”，onstat -d显示chunk的flag状态为down，无法访问该chunk中的数据。
• 排查步骤：
  ① 检查磁盘设备是否存在问题（如设备不存在、链接失效），使用ls -l /dev/<device_name>确认设备路径；
  ② 检查设备权限（确保informix用户有读写权限），使用ls -l /dev/<device_name>查看权限；
  ③ 用dd if=/dev/<device_name> of=/dev/null bs=1M count=100命令读取设备数据（仅读取，不修改），验证设备是否可正常访问。
• 解决方法：修复磁盘设备问题（如更换损坏的磁盘）；修复设备链接（如创建正确的符号链接）；调整设备权限（如chown informix:informix /dev/<device_name>）。

5. Informix启动失败

• 故障现象：执行onmode -c startup后，数据库无法启动，无响应或报错。
• 排查步骤：
  ① 查看Informix错误日志（/opt/IBM/informix/log/server.log或/var/log/informix/online.log），获取启动过程中的详细错误信息；
  ② 检查系统日志（/var/log/messages、journalctl -xe），查看系统层错误（如内存不足、磁盘空间耗尽）；
  ③ 检查SELinux状态（getenforce），若为Enforcing，临时设置为Permissive模式（setenforce 0）后重启Informix，排除SELinux拦截；
  ④ 验证配置文件（/opt/IBM/informix/etc/onconfig）的正确性，重点检查内存分配（如BUFFERPOOL大小）、磁盘空间（ROOTPATH、LOGPATH所在分区是否有足够空间）、路径配置（如$INFORMIXDIR是否指向正确目录）；
  ⑤ 检查硬件状态（dmesg查看内核消息，free -m查看内存，df -h查看磁盘空间），确保硬件正常运行；
  ⑥ 尝试重启Informix服务（sudo /etc/init.d/informix restart）或系统（reboot），部分临时问题可通过重启解决。