CentOS Dolphin日志管理技巧

在CentOS系统中，日志管理是一个重要的任务，它可以帮助系统管理员监控系统的运行状态、排查问题以及确保系统的安全性。以下是一些CentOS系统日志管理的技巧和工具：

查看系统日志

• 使用 journalctl命令查看和管理系统日志。例如：
  • 查看最近的系统日志：journalctl -n 100 显示最近的100条日志。
  • 查看内核日志：journalctl -k。
  • 查看系统本次启动的日志：journalctl -b。
  • 查看上一次启动的日志：journalctl -b -1。

日志轮转管理

• 使用 logrotate工具自动轮换日志文件，以防止日志文件过大。例如，创建一个名为 myapp的日志轮换配置文件：

  /var/log/myapp/*.log {
      daily rotate 10
      create 0664 nginx root missingok notifempty compress
      postrotate
          /bin/kill -USR1 nginx
      endscript
  }
  

  然后，将此配置文件添加到 /etc/logrotate.d/目录中，并确保cron任务定期运行 logrotate。

日志分析工具

• ELK Stack（Elasticsearch、Logstash、Kibana）：用于日志分析和可视化。首先安装Elasticsearch、Logstash和Kibana，然后配置Logstash从各种来源收集日志，并将其发送到Elasticsearch。最后，使用Kibana创建仪表板和可视化来分析日志数据。
• Splunk：一个商业的日志管理与分析工具，可以实现日志的集中管理、搜索和可视化等功能。

审计日志管理

• 使用 auditd工具监控和记录系统上的审计事件。要启用审计，编辑 /etc/audit/audit.rules文件，添加所需的规则，然后重启 auditd服务。

系统性能和活动信息收集

• 使用 sysstat工具收集系统性能和活动信息，包括CPU使用率、内存使用情况、磁盘I/O等。

对于Apache DolphinScheduler的日志管理，以下是一些特定建议：

配置日志清理策略

• 在每个服务的 conf目录下都有 logback-spring.xml可以配置日志清理策略，根据需要自行配置。

定时清理日志

• 可以设置定时清理Apache DolphinScheduler的日志，以减少磁盘空间的占用。例如，使用以下命令删除3天前的日志文件：

  find ./logs -type f -mtime +3 -name "dolphinscheduler-worker.*.log" -delete
  find ./logs -type f -mtime +3 -name "dolphinscheduler-master.*.log" -delete
  find ./logs -type f -mtime +3 -name "dolphinscheduler-api.*.log" -delete
  

解决日志乱码问题

• DolphinScheduler添加启动参数 -Dfile.encoding=utf-8。执行 echo $LANG检查系统编码是否为 zh_CN.UTF-8，如不是则修改 LANG环境变量为该值。

通过上述方法和工具，可以有效地进行CentOS系统中的日志管理，确保系统的高效运行和安全性。