高频面试题-如何保证kafka消息不丢失

作者: tojson分类: 计算机技术 发布时间: 2022-05-17 22:48:25 浏览:10853 次

高频面试题-如何保证kafka消息不丢失

巧克力洛夫斯基:
消费者offset那块造成消息丢失的片段,没讲清楚,就飘过去了。offset因为消费者没有更新,应该是导致重复消费的原因吧。我就是为了听offset这块过来的。

【回复】哦,不好意思,主要是帮助老铁们突击面试的。对于这块,如果是自动提交,消费方消费消息遇到异常,还是会提交offset到broker,消息会被标记为删除不再下发了。但是实际因为异常业务的处理不完整,其实就是丢消息
【回复】回复 @tojson :我验证的情况是 消费端设置自动提交 消费时业务异常 不会ack,会进行消息重推
神奇的帽zi:
请教一下老师,假如一个partition的isr队列中只有一个leader副本了,这个leader副本挂掉了怎么办

【回复】回复 @神奇的帽zi :说错了 是leader的最小同步副本数
【回复】回复 @神奇的帽zi :配置最少副本数和isr队列最少副本数 然后禁止isr队列之外的副本参加leader选举
【回复】回复 @78772806627_bili :说的应该是min.insync.replicas吧,确实没注意到这个参数,兼具了性能和容错。学到了[抱拳]
清晨的主人:
一路刷视频过来,感觉这个zookeeper的用途好多啊,又能做服务注册发现,配置管理,又能做分布式锁,还能充当集群监控和维护的角色。 为啥springCloud Alibaba不直接用zookeeper呢?还要自己弄nacos

【回复】zookeeper是典型的cp型,但是nacos可以根据业务场景选择ap还是cp,
hardaway7:
19.19是重点哈,消费者如何保证数据精准消费一次,1、业务表设置唯一键兜底、2、根据业务状态判断 3 与生产者绑定一个消息id,防重处理,

EdisonZhzz:
干货好少,全是读答案,连个图讲解都没有

八小时外的生活:
最后如果Kafka挂了,消费端直接请求生产端服务,我想问下消费端如何知道Kafka挂了?具体怎么实现思路可以讲下吗?

Hiei17:
大佬讲得真好!还给配字幕!三连关注!

【回复】配字真要耐心,后面视频没这福利了[滑稽]
hardaway7:
https://www.bilibili.com/video/BV1v54y1Z7s3?spm_id_from=333.880.my_history.page.click&vd_source=2935d70d4104df8371a1793ece367622&t=1159.9

乡下仔玩B站:
2分40说的消费端磁盘会飙升啥情况?消费端不是属于拉取消息消费的么,它的磁盘为啥会飙升?

【回复】[笑哭],sorry,口误口误,是broker端磁盘飙升,这里因为用了pagecahce,所以不会飙升很快。

消息不丢失 面试题 kafka

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!