问答 2024-07-09 来自:开发者社区

flink cdc 任务重启,读取新增的表数据不全,没有读取到全量数据

flink cdc 任务MySqlSource.databaseList处理的表为order_1表,现在由于业务迭代需要新增表order_2,这个表order_2在数据库已经存在,我的处理步骤是这样的:先保存了flink任务checkpoint,然后暂停flink任务,修改flink代码,在 MySqlSource.databaseList里增加表order_2,然后基于checkpoint重启....

问答 2024-06-25 来自:开发者社区

在Flink CDC中我往kafka push一条消息,为什么任务A和B都消费到这条数据了呢?

在Flink CDC中kafka做为sink时,用DDL的方式,指定properties.group.id='abc',建两个一模一样的采集任务A和B,同样的sink,这个时候我往kafka push一条消息,为什么任务A和B都消费到这条数据了呢?

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
321 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
953 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
517 人已学 |
免费
开发者课程背景图
问答 2024-06-12 来自:开发者社区

在Flink CDC中Pipeline为什么只有在提交任务的时候才会同步 变动的数据不会同步?

在Flink CDC中Pipeline为什么只有在提交任务的时候才会同步 变动的数据不会同步?

问答 2024-05-14 来自:开发者社区

Flink CDC任务运行一段时间之后不再读取数据的情况吗?

Flink CDC任务运行一段时间之后不再读取数据的情况吗?

问答 2024-05-14 来自:开发者社区

Flink CDC中oraclecdc任务启动后 控制台警告信息,监听不到数据变化有了解的吗?

Flink CDC中oraclecdc任务启动后 控制台警告信息,监听不到数据变化有了解的吗?

问答 2024-05-07 来自:开发者社区

Flink CDC里oraclecdc监听任务正常启动,监听不到oracle的数据变化,怎么排查?

Flink CDC里oraclecdc监听任务正常启动,监听不到oracle的数据变化,有什么排查问题的点吗?这是开启代码,oracle开启了日志归档,还有一些用户授权,按照官网来的。oracle的配置是 开启归档日志,然后对库表也开启。创建新用户并且授权,还有其他的额外配置吗?可以参考下你oracle的版本和cdc相关的版本依赖吗?用的包下设置不行。我的oralce是安装在windows环境下....

问答 2024-05-01 来自:开发者社区

Flink CDC里oraclecdc任务启动后,数据改变没有监听到,这个需要从哪几个方面排查问题啊

Flink CDC里oraclecdc任务启动后,数据改变没有监听到,这个需要从哪几个方面排查问题啊?oracle19c 日志归档也开启了。

问答 2024-04-26 来自:开发者社区

Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,什么时候开始增量?

Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,如果十几个小时才能初始化完成,无锁算法开始增量的时候是从十几个小时前的binlog位点增量还是从当前时间位点增量?(如果是从十几个小时前的binlog位点衔接增量,如果binlog已经归档了,就会报错文件找不到)

问答 2024-04-15 来自:开发者社区

Flink CDC里最近遇到一些表无法先全量再增量同步,具体表现就是启动任务后,一直没数据怎么办?

Flink CDC里最近遇到一些表无法先全量再增量同步,具体表现就是启动任务后,一直没数据,checkpoint正常,日志也不报错。表只有几列,每条数据是不大的。目前像这种表,我只能新启动个cdc任务从最新的binglog开始做数据同步,表的历史数据用离线补,很麻烦,有没有大佬知道是什么原因?mysql 连接器,没有更改启动方式,一开始用的就是先增量再全量,停止任务,加新表,然后从savepoi....

问答 2024-03-25 来自:开发者社区

.Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,初始化什么时候开始?

1.Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,如果十几个小时才能初始化完成,无锁算法开始增量的时候是从十几个小时前的binlog位点增量还是从当前时间位点增量。(如果是从十几个小时前的binlog位点衔接增量,如果binlog已经归档了,就会报错文件找不到) 新增大表初始化全量数据会阻塞原先其余表的增量同步么?这样的话就是全量增量并行,全量完成后会从当下时刻接着增.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

实时计算 Flink版cdc相关内容

实时计算 Flink版更多cdc相关

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注