CANAL在配置中指定BINLOG文件以及POSITION定位读取
问题:
今天在测试环境发现,各服务能收到canal的通知,但是没有影响的数据内容。
开始以为是应用程序问题,排查后发现有多个应该都是这个情况。所以怀疑是canal问题。
先说一下系统的实现情况:
mysql---(binlog)--->canal------>canal消费端---->kafka----->应用程序消费数据
处理步骤:
1、查询canal的日志(canal有两个日志,一个是meta.log一个是example.log)


第一个example.log日志,比较直接的打印了错误的信息,是因为表冲突导致
第二个meta.log日志,我们可以发现canal一直在同步一行记录,没有获取最新的binlog(导致环境删除表导致)。
2、问题找到了,那接下来就是解决了。因为是测试环境,所以想要直接跨过这个binlog就好了,那怎么操作呢?
t1、查询mysql的binlog情况
登录mysql数据库,查看binlog信息
show binary logs ;

查看指定日志的详情
show binlog events in 'mysql-bin.000035';
这个可以理解是一个行的起始编号,后面需要用到。
t2、修改canal配置
binlog文件找到了,起始号也找到了,那就是修改canal配置了
vi /canal/conf/example/meta.dat
将1处修改为binlog的文件名
将2处修改为binlog中的行超始编号
t3、重启canal服务
上面配置好后,我们就可以重启canal确认是否在消息了(canal的客户端要注意了,如果客户端没有启动,这个日志也会没有的,特别注意!!!!)。
tail -f /canal/logs/example/meta.log
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)