在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到吗?

在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到,但是在生产上的mysql表就不能,还有对于新增字段,这边是用api整条数据同步的,测试环境也能同步到,生产上新增字段的数据竟然也不能同步到,这是和mysql的配置有关么?这样就不支持在扩大采集库的范围后从sav...

[帮助文档] 社区CDC

本文为您介绍如何在阿里云实时计算Flink版中使用社区版CDC(Change Data Capture)连接器,以及更改连接器名称。

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图

flink cdc同步mysql分表,当作业启动之后,新增的分表同步不到,是mysql设置的问题吗?

flink cdc同步mysql分表,当作业启动之后,新增的分表同步不到,是mysql设置的问题,还是flink cdc的啊?这个是有打开的

遇到个Flink CDC问题新增的分表采集不到数据,版本是2.4.0,有没有了解是个啥原因?

遇到个Flink CDC问题新增的分表采集不到数据,版本是2.4.0,有没有大佬了解是个啥原因?

Flink CDC分表数据采集的时候,为啥有时候会有些表同步不过来呢?

Flink CDC分表数据采集的时候,为啥有时候会有些表同步不过来呢? 'table-name' = '(pigorder[0-9]*)');?

Flink CDC中关于开启新增的分表不自动采集,这个行为是就这么设计的吗,我看源码这里是直接判断?

Flink CDC中关于开启scan.newly-added-table.enabled=true,新增的分表不自动采集,这个行为是就这么设计的吗,我看源码这里是直接判断如果开启了scan.newly-added-table.enabled=true,就直接return false了?

关于Flink CDC开启newlyAddedTable参数,不采集新的分表这个行为,是设计就是如?

关于Flink CDC开启newlyAddedTable参数,不采集新的分表这个行为,是设计就是如此吗?看起来源码里是判断如果开启了newlyAddedTable,新的分表的数据就直接不往下游发送了?

我这边遇到个Flink CDC问题新增的分表采集不到数据,版本是2.4.0,有没有大佬了解是个啥原因

我这边遇到个Flink CDC问题,就是table-name给的正则表达式,数据库有按日期分表,新增的分表采集不到数据,版本是2.4.0,有没有大佬了解是个啥原因?重启下是有了,但是有两个问题,第一个,每天要重启这个有点麻烦了,第二个,现在周末两天的那两张分表数据我得手动用批量导入工具补数据。。

flink cdc抽mysql的多个分表,会不会影响写入的时候的准确性的?

flink cdc抽mysql的多个分表,每个表的ID都是从0开始的,分表合起来就会有重复了,会不会影响写入的时候的准确性的?

Flink CDC 中创建MySqlSource的时候tableList是必须要选的么?因为分表很多

Flink CDC 中创建MySqlSource的时候tableList是必须要选的么?因为分表很多

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
任庆盛|Flink CDC + Kafka 加速业务实时化
Flink CDC Meetup PPT - 龚中强
立即下载 立即下载 立即下载

实时计算 Flink版cdc相关内容

实时计算 Flink版更多cdc相关