kafka 动态扩容现有 topic 的分区数和副本数

文档内出现的 ${KAFKA_BROKERS} 表示 kafka 的连接地址,${ZOOKEEPER_CONNECT} 表示 zk 的连接地址,需要替换成自己的实际 ip 地址创建一个演示 topickafka-topics.sh --create --zookeeper ${ZOOKEEPER_C...

Flink CDC这种报错是需要把kafka的分区增加还是怎么样?

Flink CDC这种报错是需要把kafka的分区增加还是怎么样。(我的问题,flink消费kafka的数据,然后发现flink的webui界面只数据量远远小于实际的)?2023-10-25 16:50:10 ERROR (org.apache.kafka.clients.consumer.inte...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

Flink CDC 捕获的数据写到kafka里 topic 可以多分区吗 ?

Flink CDC 捕获的数据写到kafka里 topic 可以多分区吗 ?多分区无法保证数据有序的情况下 还能用吗?

flinksql消费kafka,没有消费记录的分区在sp的时候是不是不保存偏移量?

flinksql消费kafka,没有消费记录的分区在sp的时候是不是不保存偏移量?

flinksql 怎么使用rebalence?kafka单个分区lag很高 flinksql没法搞?

flinksql 怎么使用rebalence?kafka单个分区lag很高 flinksql没法搞啊

Kafka主题,分区,副本介绍

Kafka主题,分区,副本介绍

介绍今天分享一下kafka的主题(topic),分区(partition)和副本(replication),主题是Kafka中很重要的部分,消息的生产和消费都要以主题为基础,一个主题可以对应多个分区,一个分区属于某个主题,一个分区又可以对应多个副本,副本分为leader和follower。副本的作用...

图解Kafka消费者客户端分区分配策略

图解Kafka消费者客户端分区分配策略

提示:本文可能已过期,请点击原文查看:图解Kafka消费者客户端分区分配策略 作者:石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 KnowStreaming PMC, 《Ka...

Flink CDC我自定义了一个flink SQL的Kafka分区器,有遇到这个问题的吗?

Flink CDC我自定义了一个flink SQL的Kafka分区器,在写入的时候会报类型转换异常,有遇到这个问题的吗?

请教大家一个flink sql 消费kafka,开启了checkpoint。topic每个分区都是有

请教大家一个flink sql 消费kafka,开启了checkpoint。topic每个分区都是有数据,现在监控发现,flink作业在提交offset的时候,消费一段时间后,有1个partition的数据offset不提交了,但是这个partition一直有数据

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
任庆盛|Flink CDC + Kafka 加速业务实时化
立即下载 立即下载 立即下载