flink 多source多sink情况怎么循环同时执行

一个主题对应一张表,现在表个数不固定,想通传参的方式传入程序。目前是初始化env后循环初始化source然后处理完再sink,最后execute。问题是循环中只有第一个主题的数据能读出来然后写出去,后面的都写不进去怎么解决。如何能循环source和sink能同时去执行。

Flink CDC 3.0支持一个source,多个sink吗?

Flink CDC 3.0支持一个source,多个sink吗?

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图

Flink自定义source、自定义sink

1.自定义source  继承RichSourceFunctionpublic class TestSource extends RichSourceFunction { private volatile boolean isRunning = true; @Override public...

Flink CDC没报错,但数据不同步,修改source表数据,sink表没变,为什么?

Flink CDC通过flinksql的方式 flink 1.14.6 cdc 2.4.2 测试souce表以下两种增量同步,都没成功过,'scan.startup.mode' = 'specific-offset','scan.startup.specific-offset.file' = 'my...

Flink CDC中source、sink对flink来说对一个算子确实没有内外部,同步了多少的量?

Flink CDC中source、sink对flink来说对一个算子确实没有内外部,我想了解下能不能获取外部系统-一个算子的source有多少条数呢,比如mysqlcdc同步mysql的数据,同步了多少的量?

Flink CDC单表发现修改并行度后source和sink端都是1,是只能为1还是可以修改?

Flink CDC单表发现修改并行度后source和sink端都是1,是只能为1还是可以修改?

请教个flink问题:如何排查source到sink中间-d的数据是怎么丢的呢?

大佬们请教个flink问题:kafka读数据,中间关联hbase维表,再落kafka;在此期间,hbase集群故障,导致任务报hbase 异步IO超时,无限重启,ck失败;集群恢复正常后从最后的ck恢复任务,结果丢失了一部分-d的changelog,导致多出来一部分数据.目前能定位到这部分数据是在h...

Flink CDC source 端和sink端应该怎么做呢?

Flink CDC中datastream cdc 采集不同mysql实例的分库分表到同一个topic,source 端和sink端应该怎么做呢? 一个source只能对一个实例然后合并sink吗?

Flink连接器我理解就是source吧,没有写支持哪些sink吧?

Flink连接器我理解就是source吧,没有写支持哪些sink吧?

我理解Flink类似flume一样 配置source,sink就可以了对吗?

我理解Flink类似flume一样 配置source,sink就可以了对吗?这里说的不支持schema 变化跟踪和CTAS/CDAS整库同步即只支持单表的实时同步,且单表结构变化无法追踪是吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199202+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
李劲松|Flink Table Store 典型应用场景
立即下载 立即下载 立即下载