kafka日志文件
·
日志文件结构
log文件,index文件,timestamp文件
log文件:
0000000000000123.log
timestamp文件,文件里面内容是按照时间升序排序,一个partition 分成多个timestmap文件,搜索效率也很高;首先,很容易定位出在哪一个文件里面,时间戳比较一下就能得出结论;
index文件,文件名称是初始位移, 文件里面是相对位移和消息地址;
消费者组,一种可扩展和容错性机制; 消费者组里面某一个消费者无法消费消息了,消费者组coordinator 会自动把该消费者的分区分配到组里其它消费者上去;实现了系统的高可用;
poll push方式比较
位移管理
kafka ack机制
ACK = 0 时, 发送一次 不论leader是否接收;
ACK = 1 时,等待leader接收成功即可;
ACK = -1 时 ,需等待leader将消息同步给follower;
rebalance过程
一个consumer group 下有20个consumer实例, kafka分区总共有100个,把这个100个分区分给20个实例,每个实例消费5个分区的过程,称之为rebalance过程;
rebalance触发条件
组成员发生变更,组订阅topic发生变化, 组topic分区发生变化;
rebalance分区分配策略
range分配策略(默认), round-bin分配策略
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)