基于阿里云的DTS springboot封装

在作者凯雄的基础上二次开发,原帖地址:https://blog.csdn.net/lkx444368875/article/details/109119159

二次开发改动点

  1. 由于阿里云支持细粒度订阅所以关闭订阅过滤的功能
  2. 订阅到kafka的消息的后续处理不需要集成spring-kafka,删除了用kafka发送消息给其他地方的代码
  3. 修正一些不重要的警告信息
  4. 删除了DDL订阅的代码实现
  5. 优化对mysql json数据类型的自动转换支持
  6. 根据实际尝试阿里云的延迟,优化第一次订阅的消费位点为当前时间戳再减去60秒,之后的消费位点保持作者凯雄逻辑不变从kafka拿last的位点
  7. DMLData类根据实际业务增加一个有效信息的属性,即增是全部字段,改是改动字段加主键,删是不处理
  8. 优化冗长的配置文件信息,仅保留dts订阅的有效配置,更容易上手
  9. 删除debug包的目前已经无用的调试器
  10. avro包建议自己学习一下生成,除非你手动去改new org.apache.avro.Schema.Parser().parse这个里面的namespace为你的全路径
  11. 无论是作者凯雄还是我都是在官方demo的基础上进行springboot的封装,所以把官方demo嵌入到自己工程的过程本身是需要开发者自己理解avro包的作用
  12. 此工程如果启动或者订阅失败尝试一下排除法用官方demo跑一下看看效果对比一下

项目地址

https://github.com/Scenx/dts-server
https://gitee.com/Scenx/dts-server

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐