问题:

今天在测试环境发现,各服务能收到canal的通知,但是没有影响的数据内容。

开始以为是应用程序问题,排查后发现有多个应该都是这个情况。所以怀疑是canal问题。

 

先说一下系统的实现情况:

mysql---(binlog)--->canal------>canal消费端---->kafka----->应用程序消费数据

 

处理步骤:

1、查询canal的日志(canal有两个日志,一个是meta.log一个是example.log)

 

第一个example.log日志,比较直接的打印了错误的信息,是因为表冲突导致

第二个meta.log日志,我们可以发现canal一直在同步一行记录,没有获取最新的binlog(导致环境删除表导致)。

 

2、问题找到了,那接下来就是解决了。因为是测试环境,所以想要直接跨过这个binlog就好了,那怎么操作呢?

t1、查询mysql的binlog情况

      登录mysql数据库,查看binlog信息     

show binary logs ;

查看指定日志的详情

show binlog events in 'mysql-bin.000035';

     

这个可以理解是一个行的起始编号,后面需要用到。

 t2、修改canal配置

    binlog文件找到了,起始号也找到了,那就是修改canal配置了

vi /canal/conf/example/meta.dat

  将1处修改为binlog的文件名

  将2处修改为binlog中的行超始编号

t3、重启canal服务

   上面配置好后,我们就可以重启canal确认是否在消息了(canal的客户端要注意了,如果客户端没有启动,这个日志也会没有的,特别注意!!!!)。

 tail -f /canal/logs/example/meta.log

 

GitHub 加速计划 / ca / canal
28.22 K
7.57 K
下载
alibaba/canal: Canal 是由阿里巴巴开源的分布式数据库同步系统,主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费,广泛应用于数据库变更消息的捕获、数据迁移、缓存更新等场景。
最近提交(Master分支:3 个月前 )
1e5b8a20 - 2 个月前
ff82fd65 2 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐