Linux PostgreSQL日志管理怎么做

Linux 上 PostgreSQL 日志管理实操指南

一 日志类型与存放位置

• 运行日志：用于记录启动/关闭、错误、连接、慢查询等，便于排障与审计。常见路径为数据目录下的 log 目录（PGDATA/log），或发行版采用系统日志目录（如 /var/log/postgresql/）。该目录下的日志可按需清理/归档，不影响数据库一致性。
• WAL 日志：即pg_wal（老版本为 pg_xlog），记录事务重做信息，是PITR、流复制、归档的关键。文件默认16MB/段，严禁随意删除或移动，否则存在无法恢复风险。
• 事务状态日志：即pg_clog（事务提交日志），记录事务元数据，体积极小但极其重要，不可手动改动或删除。
• 版本差异提示：WAL 目录在 PostgreSQL 10+ 为 pg_wal，早期版本为 pg_xlog；两者功能相同。
  以上概念与风险点适用于常见发行版与自建环境。

二 核心配置与常用参数

• 启用日志收集与输出方式
  • 建议开启：logging_collector = on（捕获 stderr 输出到文件）。
  • 输出目的地：log_destination = ‘stderr,csvlog’（同时输出可读文本与 CSV，便于分析）。
• 日志路径与命名
  • log_directory = ‘log’（相对 PGDATA），或自定义绝对路径。
  • log_filename = ‘postgresql-%Y-%m-%d_%H%M%S.log’（按时间滚动，便于检索）。
• 滚动与保留
  • log_rotation_age = 1440（单位：分钟，默认 24 小时轮转）。
  • log_rotation_size = 10240（单位：KB，约 10MB 轮转）。
  • log_truncate_on_rotation = on（同名文件覆盖而非追加）。
• 日志内容与采样
  • log_statement = ‘ddl’（或 ‘mod’/‘all’，按需开启全量/变更类 SQL 记录）。
  • log_min_duration_statement = 5000（单位：毫秒，记录 ≥5 秒的慢 SQL）。
  • log_duration = on（记录每条语句耗时）。
  • log_checkpoints = on、log_connections = on、log_disconnections = on（关键事件审计）。
  • log_lock_waits = on（锁等待告警，配合 deadlock_timeout 使用）。
  • log_line_prefix = '%m [%p] %u %d %h %r '（包含时间、进程、用户、库、客户端 IP/端口，便于检索）。
  • log_error_verbosity = ‘verbose’（输出 SQLSTATE 与源码位置，便于定位）。
• 生效方式
  • 多数参数支持SIGHUP 重载（执行：SELECT pg_reload_conf(); 或 systemctl reload postgresql），涉及logging_collector等少数参数需重启。
    以上参数与取值为生产常用组合，可按负载与合规要求微调。

三 查看与轮转实践

• 实时查看与检索
  • 实时跟踪：tail -f /var/lib/pgsql/data/log/postgresql-*.log 或对应日志目录。
  • 关键字检索：grep -i “error|duration|deadlock” /var/log/postgresql/*.log。
  • 系统日志场景：若使用 syslog/journald，可用 journalctl -u postgresql -f。
• 轮转与清理
  • 内置轮转：通过 log_rotation_age/size 控制，按天/按大小自动切割。
  • 系统级轮转：发行版常配合 logrotate 管理（压缩、保留天数、按日切割等），与数据库内置轮转可并行使用。
  • 清理策略：对运行日志按保留周期压缩归档；对WAL/pg_clog严禁手工删除，需依赖归档与备份机制回收空间。
    以上做法覆盖日常运维高频操作，兼顾易用性与安全性。

四 分析与长期保留

• 日志分析工具
  • pgBadger：高性能日志解析，生成HTML/图表报告（Top SQL、慢查询、错误趋势等）。
  • pgFouine：经典日志分析工具，适合历史日志挖掘。
  • ELK/EFK（Elasticsearch/Logstash/Fluentd/Kibana）：集中化采集、检索与可视化。
• CSV 入库与审计
  • 启用 csvlog 后，可将日志导入分析库，便于做多维统计与留存。示例建表字段包含：log_time、user_name、database_name、process_id、connection_from、session_id、session_line_num、command_tag、session_start_time、virtual_transaction_id、transaction_id、error_severity、sql_state_code、message、detail、hint、internal_query、internal_query_pos、context、query、query_pos、location、application_name 等。
• 合规留存与容量规划
  • 运行日志建议压缩归档并设置保留周期（如 7–90 天，视审计要求而定）。
  • WAL 保留依赖WAL 保留策略 + 归档/备份；空间紧张时优先扩容归档存储或缩短保留窗口，切勿直接删除 WAL/pg_clog。
    以上方案覆盖从快速分析到长期留存的完整链路。

五 常见问题与应急

• 磁盘被 WAL 打满
  • 现象：WAL 段持续生成，磁盘告警/实例异常。
  • 处置：优先临时关闭归档/流复制以停止继续增长；将现有 WAL 段备份到他处；在确保有有效基础备份的前提下，谨慎移除早期 WAL 段；空间恢复后重启并检查归档链路。
• 无法启动且未见运行日志
  • 检查数据目录权限、postgresql.conf 语法、以及系统日志（如 journalctl -u postgresql 或 /var/log/messages）。
• 修改参数未生效
  • 确认修改在正确的 PGDATA/postgresql.conf；执行 SELECT pg_reload_conf(); 重载；若涉及 logging_collector 等，需重启实例。
    以上应急要点可有效降低风险并缩短恢复时间。