CentOS Syslog与数据库日志整合

将CentOS的Syslog与数据库日志整合在一起，可以通过以下几种方法实现：

方法一：使用rsyslog和自定义脚本

1. 安装rsyslog：

   sudo yum install rsyslog
   

2. 配置rsyslog： 编辑/etc/rsyslog.conf文件，添加以下内容以捕获数据库日志：

   # 捕获MySQL日志
   if $programname == 'mysqld' then /var/log/mysql.log
   & stop
   
   # 捕获PostgreSQL日志
   if $programname == 'postgres' then /var/log/postgresql.log
   & stop
   

3. 重启rsyslog服务：

   sudo systemctl restart rsyslog
   

4. 创建自定义脚本： 创建一个脚本/usr/local/bin/log_to_db.sh，用于将日志发送到数据库：

   #!/bin/bash
   LOG_FILE=$1
   DB_HOST="your_db_host"
   DB_USER="your_db_user"
   DB_PASSWORD="your_db_password"
   DB_NAME="your_db_name"
   DB_TABLE="logs"
   
   while read line; do
       mysql -h $DB_HOST -u $DB_USER -p$DB_PASSWORD $DB_NAME -e "INSERT INTO $DB_TABLE (log_message, log_time) VALUES ('$line', NOW());"
   done < $LOG_FILE
   

5. 设置脚本权限：

   sudo chmod +x /usr/local/bin/log_to_db.sh
   

6. 使用cron定期运行脚本： 编辑crontab文件：

   sudo crontab -e
   

   添加以下行以每分钟运行一次脚本：

   * * * * * /usr/local/bin/log_to_db.sh /var/log/mysql.log
   * * * * * /usr/local/bin/log_to_db.sh /var/log/postgresql.log
   

方法二：使用Logstash

1. 安装Logstash：

   sudo yum install logstash
   

2. 配置Logstash： 创建一个Logstash配置文件/etc/logstash/conf.d/mysql_to_db.conf：

   input {
       file {
           path => "/var/log/mysql.log"
           start_position => "beginning"
       }
       file {
           path => "/var/log/postgresql.log"
           start_position => "beginning"
       }
   }
   
   filter {
       # 可以根据需要添加过滤器
   }
   
   output {
       elasticsearch {
           hosts => ["localhost:9200"]
           index => "logs-%{+YYYY.MM.dd}"
       }
   }
   

3. 启动Logstash：

   sudo systemctl start logstash
   sudo systemctl enable logstash
   

方法三：使用Fluentd

1. 安装Fluentd：

   sudo yum install fluentd
   

2. 配置Fluentd： 创建一个Fluentd配置文件/etc/td-agent/td-agent.conf：

   <source>
       @type tail
       path /var/log/mysql.log
       pos_file /var/log/td-agent/mysql.log.pos
       tag mysql.log
       <parse>
           @type none
       </parse>
   </source>
   
   <source>
       @type tail
       path /var/log/postgresql.log
       pos_file /var/log/td-agent/postgresql.log.pos
       tag postgresql.log
       <parse>
           @type none
       </parse>
   </source>
   
   <match mysql.log>
       @type elasticsearch
       host localhost
       port 9200
       logstash_format true
       flush_interval 10s
   </match>
   
   <match postgresql.log>
       @type elasticsearch
       host localhost
       port 9200
       logstash_format true
       flush_interval 10s
   </match>
   

3. 启动Fluentd：

   sudo systemctl start td-agent
   sudo systemctl enable td-agent
   

通过以上方法，你可以将CentOS的Syslog与数据库日志整合在一起，并将其发送到数据库中进行存储和分析。选择适合你需求的方法进行实施。