MySql的Binlog日志工具举例分析

这篇文章主要介绍“MySql的Binlog日志工具举例分析”，在日常操作中，相信很多人在MySql的Binlog日志工具举例分析问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”MySql的Binlog日志工具举例分析”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

Canal

定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。

原理：

• canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

• mysql master收到dump请求，开始推送binary log给slave(也就是canal)

• canal解析binary log对象(原始为byte流)

•  Connection获取上一次解析成功的位置（如果第一次启动，则获取初始制定的位置或者是当前数据库的binlog位点）

• Connection建立连接，发生BINLOG_DUMP命令

• Mysql开始推送Binary Log

• 接收到的Binary Log通过Binlog parser进行协议解析，补充一些特定信息

• 传递给EventSink模块进行数据存储，是一个阻塞操作，直到存储成功

• 存储成功后，定时记录Binary Log位置

   

• 数据过滤：支持通配符的过滤模式，表名，字段内容等

• 数据路由/分发：解决1:n (1个parser对应多个store的模式)

• 数据归并：解决n:1 (多个parser对应1个store)

• 数据加工：在进入store之前进行额外的处理，比如join

Maxwell

• 源与消费者之间的隔离

• 保证按顺序和至少一次交付具有高可用性

• 从更改流中的任意时间点开始消耗，包括整个数据的完全引导功能。

• 分区消费

• 源一致性保存

到此，关于“MySql的Binlog日志工具举例分析”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！