高频面试题:kafka消费积压百万数据怎么办

作者: tojson分类: 计算机技术 发布时间: 2022-11-06 19:22:15 浏览:21128 次

高频面试题:kafka消费积压百万数据怎么办

萌爸章鱼哥:
1.找到瓶颈,一般生产太快,消费太慢 2.生产太快,了解消息徒增的原因,是否短暂现象,业务是否可接受延迟,是否可以等待自然消化,磁盘是否够用 3.消费者消费瓶颈在哪,消费者数量不够?错误导致重试太多进而消费速率下降?消费者自身原因变慢? 4.其他原因要具体看待,是否kafka自身问题或者带宽网络问题,这些需要依赖一些日常监控数据,比如基础设施监控,消费者耗时,重试,错误监控

消失的光影:
不用管啊,我们这日常积压几百万。屁大点事[doge]

hicxp:
对于批量消费的数据如果一部分成功一部分失败,这时候手动提交了,那么失败的数据怎么处理,在实际生产中大家都是怎么做的。失败数据落表?有没有详细的经典方案科普一下

比利比利晚安:
消费者组多线程消费,但需要考虑下游服务吃不吃的住

夜之镰鼬:
积压最高到过30亿[doge],日常都是千万积压

Autist1c:
有没有大佬帮忙定位下问题,我们一条数据包含四张图片的base64,一条数据很大,就发送的这个过程(kafkaTemplate.send())就需要将近3S,但是给别的第三方发就很快,这是问什么呢

呼噜咕噜咕噜:
架构组小伙开了1000个线程很快就下发到业务系统了[doge]不存在积压

张张taotao:
这个视频讲的很详细 结合实际场景 从合个点分析问题给出解决方案 很全面,点个赞!

消息幂等 kafka消息积压 kafka消费积压百万数据 性能 面试题 性能优化 架构 kafka 高频面试题 消息积压

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!