我用kafka两年,踩坑无数。。。

作者: 苏三说技术分类: 计算机技术 发布时间: 2022-10-20 20:06:09 浏览:81169 次

我用kafka两年,踩坑无数。。。

流光华逝:
kafaka本身并不适合做这种业务系统,现在更多还是用来记日志和实时数据分析的

【回复】京东内部有两套Mq ,一套是数据流Kafka,另一套是业务流jmq(类似rocket Mq)。一套保证高吞吐,一套保证功能丰富。感觉Kafka用在业务上确实功能太少,很多东西都要自己实现
【回复】回复 @大代码菌 :不是这个方面,更看重的是rocketmq(metaq)具备了更多的业务功能,比如分布式事务
魔法猫咪:
我一个做游戏服务器的,都感觉这里很多问题是初期设计问题都导致的

【回复】其实也不是,很多问题都是随着业务拓展出现了。对于单一游戏的功能目标和场景相对还是比较明确的,但对于很多应用互联网系统,它的流程长,场景复杂,迭代周期长,甚至有人工介入,很多都是在踩坑中进去另一个坑。不同的行业情况天差万别,很多项目起初就是gh上搞个开源项目,然后魔改,没有时间和人力根据具体需求重新设计和开大。
【回复】想太多 一开始并发量不上来怎么玩都可以。一般公司设计之初可不会给时间你考虑以后高并发、大数据的场景,只会关心能不能快速落地。
【回复】说实话 [滑稽]互联网上玩的技术 游戏服务器在2000年就玩过了 还是得自研的那种
苏三说技术:
传统美德不能丢,如果看了视频有些收获,请给我三连喔😘

【回复】关注公众号:苏三说技术,回复:进大厂,领取阿里大佬写的面试资料
【回复】回复 @周一念 :为了可持续发展,我投币了
不怕不胖:
说得很不错,但是大多数还是不规范,上线前没做压测造成的,还有告警应该统一。好能多问题,比如积压,复制延迟 都有统一监控,不是各个团队分别看。这样定位太慢。业务处理慢了也该告警,而不是让产品来告知,那太被动了。

【回复】想的挺好,有的团队就那么几个人,时间再一紧张的话,还要啥监测,先上线完成任务,其他之后再说,否则天天加班,一是自己就不愿意,二是领导觉得开发效率太低,就会怀疑开发人员能力是不是有问题。一旦上线之后,为了线上环境的稳定,也不会轻易去改,因为改出问题,会被扣工资,还会被通报批评。工作过的人应该都有过这种经历
【回复】还是得有专业团队,特么的想起领导要求搞一项业务,啥都要自己处理,处理慢了还被嫌弃,压测也没有,测试也没有,数据量还很大,慢了就找你,想想就生气
【回复】回复 @狂暴的头发 :跟他解释那么多干嘛,这语气跟个小学生一样,给我看笑了
踏空丶落:
非常感谢up主的分享,因为我工作中根本用不上这些技术,也很难了解到使用场景,幸亏有up主的分享让我能够了解到,希望up主可以多多分享,太感谢了。

【回复】这种生产遇到的问题,以及原因和解决思路,很有价值。三连了[妙啊]
【回复】好滴,以后多分享工作经验
苏三说技术:
我微信公众号文章地址:https://mp.weixin.qq.com/s/YPkE3Tsu3RVbhfVZCBt1pQ

【回复】问题都是自己yy的 下游消费速率不提升 你调整kafka有啥用 改用多线程有啥用
【回复】回复 @欲游八千里 :比如:美团
【回复】回复 @欲游八千里 : 不是这样的。去店里我们吃饭的时候,也会使用手机扫码点餐的,比如一些全国连锁店,他们用的都是一套微信小程序
真的剁手了:
总结:结构设计的缺失,有种大力飞砖的美

听劝的产品经理:
只有一个感觉,为本就不该存在的问题挖了更大的坑。。。

EdisonZhzz:
依稀记得,kafka即便单分区也是存在消息乱序问题的,它的那个NetworkClient会缓存几个request,request发送失败不影响后面的request继续发送,失败的request会重试发送。所以存在乱序问题。

【回复】回复 @GoogleIn :我的意思是能否考虑不用消息队列
【回复】回复 @婉拒娜扎八次 :你用其他消息队列,也一样的。
枫桥夜泊你我他:
我怎么感觉你对kafka一点都不熟悉,建议去看下kafka源码或者rocketmq源码,深入了解下

安静躺好:
很多东西能用同步+加机器解决就别用异步,你这一致性问题治理起来太麻烦

我是两颗小虎牙呢:
我去 什么干饭系统呀, 能挤压这么多消息[笑哭]

happy_code:
这里很多都不是kafka的问题啊,架构问题,有点标题党

宇宙第一波加曼:
哈哈哈哈 [滑稽]这个嘛 就是这样的kafka是只能当日志用的 [滑稽][滑稽] 你换rabbitmq就好很多

【回复】触发了rabbit的流控 就知道了 也是一地鸡毛
【回复】rabbit的吞吐量差多了,kafka都顶不住rabbit直接就gg
【回复】你可拉到把 咋说kafka也是分布式 ,换成rabbitmq 你想扩容都没法阔,那吞吐量差的不是一点半点
loli不控:
我去,刚解决一个kafka的问题,一刷手机就刷到了[热词系列_知识增加]

重试机制 重复消费 消息丢失 十一创作大挑战 主从延迟 MQ kafka 消息中间件 踩坑

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!