云消息队列 Kafka 版宕机-阿里云

文章 2024-10-14 来自：开发者社区

大数据-65 Kafka 高级特性分区 Broker自动再平衡 ISR 副本宕机恢复再重平衡实测

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完） HDFS（已更完） MapReduce（已更完） Hive（已更完） Flume（已更完） Sqoop（已更完） Zookeeper（已更完） HBase（已更完） Redis （已更完） Kafka（正在更新…） ...

文章 2024-10-14 来自：开发者社区

大数据-63 Kafka 高级特性分区副本机制宕机恢复 Leader选举

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完） HDFS（已更完） MapReduce（已更完） Hive（已更完） Flume（已更完） Sqoop（已更完） Zookeeper（已更完） HBase（已更完） Redis （已更完） Kafka（正在更新…） ...

文章 2024-04-13 来自：开发者社区

【Kafka】分区副本中的 Leader 如果宕机但 ISR 却为空该如何处理

当分区副本中的 Leader 宕机但 ISR 为空时，这种情况通常意味着分区的所有副本都无法与 Leader 副本保持数据同步，即使 Leader 副本无法提供正常服务。这种情况可能会导致数据的丢失或不一致，因此需要及时处理以确保分区的可用性和数据的完整性。下面将探讨如何处理这种情况，并附上相关示例代码。 1. 识别 Leader 宕机首...

问答 2023-09-19 来自：开发者社区

Flink CDC中sink如果异常了，如何处理？比如kafka宕机。数据会丢吗？

问答 2023-07-25 来自：开发者社区

flink 的kafkaSink 如果我kafka突然宕机了那没有发送成功的数据 flink？

flink 的kafkaSink 如果我kafka突然宕机了那没有发送成功的数据 flink的kafkaSink是怎么处理的。过期丢弃了还是怎么？kafka 宕机不会引起程序挂掉，所以上游发了数据程序没有报错停止，但是kafka停了发不出去，直到kafka 恢复这个数据是怎么处理的，会一直刷失去连接但是不会报错我跑了10分钟，重连确实不会导致任务失败，发送数据失败会引起任务失败

问答 2023-05-08 来自：开发者社区

kafka宕机之后数据没有重新produce到kafka

环境信息 canal version canal.deployer-1.1.3-SNAPSHOT mysql version mysql Ver 14.14 Distrib 5.5.39, for Linux (x86_64) using readline 5.1 问题描述正常情况下，canal能接收到binlog然后produce到kafka，但是如果kafka挂掉之后，直到重启的这段时间内....

文章 2022-04-08 来自：开发者社区

如何零宕机将 2000 个微服务从本地 Kafka 集群迁移至云托管多集群平台？

*本文最初发表于 Medium 博客，经原作者 Natan Silnitsky 授权，InfoQ 中文站翻译并分享。*2021 年，我们的团队致力于将 Wix （国外比较火的一款建站平台）的 2000 个微服务从自托管的 Kafka 集群迁移到多集群的 Confluent Cloud 平台（ Confluent Enterprise 的云端托管服务），整个过程是无缝的方式，无需服务所有者参与，且....

文章 2021-12-31 来自：开发者社区

因为一次宕机，终于搞透了 Kafka 高可用原理！

1 Kafka 宕机引发的高可用思考问题要从一次Kafka的宕机开始说起。笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ ，而是采用了设计之初就为日志处理而生的Kafka ，所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后，系统内部使用的Kafka一直运行稳定，没有出现不可用的情况。但最近系统测试人员常反馈偶有Kafka消....

文章 2021-12-29 来自：开发者社区

《kafka问答100例 -7》如果Topic删除过程中有某台Broker宕机,删除流程会正常进行吗 ? |文末送书

如果Topic删除过程中有某台Broker宕机,删除流程会正常进行吗 ?删除Topic的过程中,跟这个Topic有关的Broker都会开始执行删除操作, 如果其中某台Broker宕机或者副本下线(副本由于某些原因不可读写了) 了,那么这台Broker删除流程受阻并不会影响其他Broker的删除流程正常进行,请看下图但是，只要某台Broker里的任意分区副本没有被正常删除(被标记了–delete)....

问答 2021-01-06 来自：开发者社区

如果 checkpoint offset 未提交到 kafka，此时节点宕机了，重启重复消费如何保证

如果 checkpoint 时间过长，offset 未提交到 kafka，此时节点宕机了，重启之后的重复消费如何保证呢？