Flink CDC中kafka因为写入量过高,导致拒绝写入了一会儿,这种情况应该怎么排查呢?

Flink CDC中kafka因为写入量过高,导致拒绝写入了一会儿,理论上我们应该数据不会丢才对,但是丢了一部分,这种情况应该怎么排查呢?大佬能提供一个思路嘛?

Flink CDC采集mysql入kafka,有一千多笔延迟在十几分钟,这个应该怎么排查?

Flink CDC采集mysql入kafka,有一千多笔延迟在十几分钟,这个应该怎么排查?

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图
kafka实战】分区重分配可能出现的问题和排查问题思路

kafka实战】分区重分配可能出现的问题和排查问题思路

推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源LogiKM一站式Kafka监控与管控平台 这篇文章源自于,一位群友的问题,然后就写下了这篇文章 进群加V :jjdlmn_先定义一下名词: 迁移前的Broker: OriginBroker 、 迁移后的副本 TargetBroke...

kafka消费数据时刚开始消费正常,消费一段时间之后就停止消费了。消费者端也不报错,这种问题怎么排查

kafka消费数据时刚开始消费正常,消费一段时间之后就停止消费了,消费者端也不报错!再重新启动消费就又可以消费了! enable-auto-commit 设置的是false 本来以为是因为默认的max-pool-records 500太多了消费不完导致不断的重复消费,最后导致消费通道死了。调小了之后...

Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程

Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程

一、问题分析Dubbo 2.6.5,Kafak maven 0.8.0-beta1服务 A 调用服务 B,收到如下错误:2019-08-30 09:14:52,311 WARN method [%f [DUBBO] Thread pool is EXHAUSTED! Thread Name: Dub...

【实战】kafka删除Topic常见异常排查思路及解决方案

【实战】kafka删除Topic常见异常排查思路及解决方案

有人报案最近技术群里面有几个同学碰到了 删除Topic的问题, 怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查收集线索报not retrying deletion 异常版本:kafka_2.11-2.0.0删除前在执行重分配,但是失败了,强制停...

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)

文章目录前提所有异常情况1. TargetBroker若不在线,迁移脚本执行会失败情景演示2. TargetBroker在开始迁移过程中宕机,导致迁移任务一直在进行中情景演示解决方法3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本情景演示解决方案4. 限流导致重分...

Kafka 常见问题及排查该如何进行?

1. 报错“TimeoutException(Java)” 或“run out of brokers(Go)” 或 “Authentication failed for user(Python)” 首先,请确保 servers 配置正确,然后通过 ping 以及 telnet 排除网络问题。假设网络...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
任庆盛|Flink CDC + Kafka 加速业务实时化
立即下载 立即下载 立即下载