CANAL在配置中指定BINLOG文件以及POSITION定位读取
canal
alibaba/canal: Canal 是由阿里巴巴开源的分布式数据库同步系统,主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费,广泛应用于数据库变更消息的捕获、数据迁移、缓存更新等场景。
项目地址:https://gitcode.com/gh_mirrors/ca/canal
免费下载资源
·
问题:
今天在测试环境发现,各服务能收到canal的通知,但是没有影响的数据内容。
开始以为是应用程序问题,排查后发现有多个应该都是这个情况。所以怀疑是canal问题。
先说一下系统的实现情况:
mysql---(binlog)--->canal------>canal消费端---->kafka----->应用程序消费数据
处理步骤:
1、查询canal的日志(canal有两个日志,一个是meta.log一个是example.log)
第一个example.log日志,比较直接的打印了错误的信息,是因为表冲突导致
第二个meta.log日志,我们可以发现canal一直在同步一行记录,没有获取最新的binlog(导致环境删除表导致)。
2、问题找到了,那接下来就是解决了。因为是测试环境,所以想要直接跨过这个binlog就好了,那怎么操作呢?
t1、查询mysql的binlog情况
登录mysql数据库,查看binlog信息
show binary logs ;
查看指定日志的详情
show binlog events in 'mysql-bin.000035';
这个可以理解是一个行的起始编号,后面需要用到。
t2、修改canal配置
binlog文件找到了,起始号也找到了,那就是修改canal配置了
vi /canal/conf/example/meta.dat
将1处修改为binlog的文件名
将2处修改为binlog中的行超始编号
t3、重启canal服务
上面配置好后,我们就可以重启canal确认是否在消息了(canal的客户端要注意了,如果客户端没有启动,这个日志也会没有的,特别注意!!!!)。
tail -f /canal/logs/example/meta.log
GitHub 加速计划 / ca / canal
28.22 K
7.57 K
下载
alibaba/canal: Canal 是由阿里巴巴开源的分布式数据库同步系统,主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费,广泛应用于数据库变更消息的捕获、数据迁移、缓存更新等场景。
最近提交(Master分支:3 个月前 )
1e5b8a20 - 2 个月前
ff82fd65
2 个月前
更多推荐
已为社区贡献2条内容
所有评论(0)