问题描述:
多个项目,有些项目分库分表分布在多个节点,因此,对慢日志的切割并且收集对于慢日志分析来说是极其必要的。
实现方案:
①环境准备
Host1 : ftp
服务器(192.168.xx.xxx),用于集中存储各项目每天(可脚本自定义)的日志
Host2 :
mysql服务器(192.168.xx.xxx),用于存储配置相关的参数(如需要收集的日志host,user,pwd,日志位置等信息),之后用于脚本的查询调用。
Host3 : 执行操作的机器(192.168.xx.xxx) ,即执行脚本设置定时任务的机器
②脚本准备
涉及到两个脚本,logrotate.sh 以及 job.sh
其中job.sh用于批量执行的mysql中存储的相关host的操作,job.sh调用logrotate.sh
logrotate.sh用于在各台需要收集日志的机器上实际的执行操作
mysql配置表结构及数据如下(注意添加一个所有机器都能查询该表的一个账号):
job.sh脚本如下:
-
#!/bin/bash
-
-
-
mysql_host=192.168.xx.xxx
-
mysql_port=3456
-
mysql_user=xxx
-
mysql_pwd=xxxxxx
-
-
-
function get_info {
-
cmd=`which mysql`
-
$cmd -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_pwd -BNe "select * from DB_SPLIT_LOG.t_log_info;" | while read line
-
do
-
host_ip=`echo $line | awk '{print $3}'`
-
ssh_user=`echo $line | awk '{print $9}'`
-
ssh_pwd=`echo $line | awk '{print $10}'`
-
/usr/bin/sshpass -p $ssh_pwd ssh -o StrictHostKeyChecking=no $ssh_user@$host_ip "bash " < logrotate.sh
-
done
-
}
-
-
get_info
logrotate.sh脚本内容如下:
在Host3上将两个脚本置于一个目录之下,然后添加一个定时任务
在Host2(ftp)上查看操作结果
③过程描述
1 . job.sh 查询
DB_SPLIT_LOG.t_log_info表中的所有host_ip ssh_user ssh_pwd ,然后循环远程执行脚本logrotate.sh
2 . logrotate.sh 首先查询本机ip ,然后根据本机ip获取
DB_SPLIT_LOG.t_log_info表中对应的log_dir lot_file game ftp相关信息
3 . 生成logrotate的配置文件
4 . 进行切割
5 . 更改切割出来的日志名称
6 . 上传到ftp
7 . 清空临时文件
注意点:logrotate所切割的文件产生的结果必须和源文件在一个分区上(即你切割的结果文件slow.log-2016-10-25和原来的slow.log文件),不然切割会不成功。
另 : 该脚本适用于任何日志文件的切割与收集。只需要在
DB_SPLIT_LOG.t_log_info表中添加相应的记录即可。