问答 2024-06-03 来自:开发者社区

Flink datastream任务对接kafka出现数据倾斜

Flink datastream任务对接kafka出现数据倾斜

问答 2023-10-18 来自:开发者社区

flink-cdc可以使用 flink 的 kafka avro格式对接吗?

flink-cdc写入 Upsert Kafka avro格式 可以使用 flink 的 kafka avro格式对接吗?

问答 2023-08-20 来自:开发者社区

EventBridge的steaming,上游可以对接kafka,也可以对接EB自己的BUS,下游?

EventBridge的steaming,上游可以对接kafka,也可以对接EB自己的BUS,下游对接是clickhouse。这个方案与kafka直接对接clickhouse有什么区别?一般不超过64kb,假如EB支持直接写入指定clickhouse就完美了,clickhouse要求批量写,这个跟其他消费方式很不同

问答 2023-08-16 来自:开发者社区

有个问题请教下大家,我这边用的flink版本是1.13.2的,需要对接kafka的数据写入到多张hi

有个问题请教下大家,我这边用的flink版本是1.13.2的,需要对接kafka的数据写入到多张hive数据表,在使用tableapi的时候发现会启动多个job,请问下是否能只启动一个job的情况下写入多张hive数据表? 提交的时候只有一段flink run,但是从接下来的提示及yarn都显示出其实是提交了多个application

问答 2023-08-01 来自:开发者社区

大佬们,Flink对接Kafka结果Kafka的元数据(事务ID,Offset之类)找不到了咋办?!

大佬们,Flink对接Kafka结果Kafka的元数据(事务ID,Offset之类)找不到了咋办?我这是磁盘满了。 Flink 先消费Kafka 再写Kafka ,中间断了两周,然后再从两周前的检查点启动 就起不来了

文章 2023-07-07 来自:开发者社区

Flink初试——对接Kafka

本篇文章我们用 Flink Kafka Connector对接Kafka,实现一个简单的报警业务。我们暂时不去谈论理论,先上手实现这个简单的需求。flink-connector-kafka是 flink 内置的Kafka连接器,包含了从topic读取数据的Flink Kafka Consumer 和 向topic写入数据的flink kafka prod...

Flink初试——对接Kafka
问答 2023-05-08 来自:开发者社区

canalv1.1.2使用HA模式对接kafka

$stringUtil.substring( $!{XssContent1.description},200)...

问答 2023-05-04 来自:开发者社区

canal adapter中只用tcp消费模式使用zk做了高可用,对接kafka和rocketMQ时

在canal adapter中只用tcp消费模式使用zk做了高可用, 但是对接kafka和rocketMQ时没有做高可用 是否老师增加对接kafka和rocketmq进也使用zk做高可用,类型canal server端高可用的效果,当canal adapter master 异常退出时,stand by节点继续进行同步 原提问者GitHub用户flackyang

问答 2023-04-27 来自:开发者社区

当我使用canal kafka官方案例对接mysql时报错

canal 版本 canal.deployer-1.1.4 kafka 版本 kafka_2.11-1.1.1 对接时报错: 原提问者GitHub用户whx1121

问答 2023-02-14 来自:开发者社区

flinksql对接kafka的数据后,用什么format格式可以进行两表关联啊?

flinksql对接kafka的数据后,用什么format格式可以进行两表关联啊?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注