Flink CDC里flink消费kafka里的数据,1秒2w条,堆积就十分严重,怎么解决?

Flink CDC里flink消费kafka里的数据,1秒2w条,堆积就十分严重,没什么算子,就是解析cdc的数据直接入doris,有解吗?

【工作中问题解决实践 十一】Kafka消费者消费堆积且频繁rebalance

【工作中问题解决实践 十一】Kafka消费者消费堆积且频繁rebalance

最近有点不走运,老是遇到基础服务的问题,还是记着点儿解决方法,以后再遇到快速解决吧,今天遇到这个问题倒不算紧急,但也能通过这个问题熟悉一下Kafka的配置。问题背景正在开会的时候突然收到一连串的报警,赶忙看看是为啥没过一会儿基础服务报警也来了告警名称:Kafka-topic consume exce...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图
线上kafka消息堆积,consumer掉线,怎么办?

线上kafka消息堆积,consumer掉线,怎么办?

线上kafka消息堆积,所有consumer全部掉线,到底怎么回事?最近处理了一次线上故障,具体故障表现就是kafka某个topic消息堆积,这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思,并且结合本次故障,对kafka使用的最佳实践有了更深刻的理解。好了ÿ...

DataWorks中你们实时同步任务(kafka > maxc)有在凌晨期间出现消息堆积情况么?

DataWorks中你们实时同步任务(kafka > maxc)有在凌晨期间出现消息堆积情况么?

各位老板 问一下 就是我们mysql cdc保存的是配置数据 然后kafka里面堆积的有历史

各位老板 问一下 就是我们mysql cdc保存的是配置数据 然后kafka里面堆积的有历史数据 那么如果我启动程序的话就会存在有些配置数据还没有读取到就先处理kafka里面的数据了 请问这个情况要怎么处理?

一次 kafka 消息堆积问题排查

一次 kafka 消息堆积问题排查

收到某业务组的小伙伴发来的反馈,具体问题如下:项目中某 kafka 消息组消费特别慢,有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。从服务端日志看到如下信息:该消费组在短时间内重平衡了 600 多次。从 cat 查看得知,每条消息处理都会有 4 次数据库的交互,经过一番沟...

请教一下,观察了下,flink 消费kafka 时先出现一分钟左右的堆积,堆到5万条左右#Flink

请教一下,观察了下,flink 消费kafka 时先出现一分钟左右的堆积,堆到5万条左右又会立即堆积数变为0,这种是什么引起的呢?有没有改进的办法呢?求解#Flink

kafka pattion数据堆积,然后自动丢失?报错

入上图所示,我开了两个消费者,三个pattion,刚开始是正常的,但是每次大概在跑了一天左右以后,pattion1 中的数据,开始不被消费,出现堆积,通过日志也发现,1的数据没有被消费,并且没有出现报错,并且奇怪的是,过一段时间以后,pattion1 中lag数据开始500多条500多条的直接减少,...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。