问答 2024-12-13 来自:开发者社区

mysql->flink-cdc->clickhouse数据传输不识别delete操作

在使用flink-cdc将mysql数据以流模式实时同步到clickhouse中发现,源端的物理删除操作(delete)后,clickhouse中的数据依然存在,这类问题该如何解决?ps:在网上查询解决方案,尝试从json中获取op(数据操作类型)来过滤已删除数据,源端只支持database,table_name,和op_ts(数据操作时间)参数,如果此方案可行的话该如何使用

问答 2024-05-31 来自:开发者社区

Flink-cdc接入mysql后能否排除binlog的delete的操作

Flink-cdc接入mysql后能否排除binlog的delete的操作

问答 2024-05-16 来自:开发者社区

flink-cdc这个怎么配置和mysql才能保持一致?

flink-cdc这个怎么配置和mysql才能保持一致?

文章 2024-03-09 来自:开发者社区

Flink CDC产品常见问题之flink-cdc任务抓取全量的mysql数据不生效如何解决

问题一:Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,不生效怎么办? Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,checkpoint目前是持久化到oss上,我希望每次重启任务的时候不要从头开始抓取所有的消息。我的想法是在任务里面直接获取oss上最新进度的checkpoint目录,然后通过SavepointResto...

Flink CDC产品常见问题之flink-cdc任务抓取全量的mysql数据不生效如何解决
问答 2024-02-06 来自:开发者社区

flink-cdc pipeline支持mysql到mysql 并支持动态感知表结构变更同步吗?

flink-cdc pipeline这种方式支持mysql到mysql 并支持动态感知表结构变更同步嘛?

问答 2024-01-24 来自:开发者社区

Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,不生效怎么办?

Flink CDC里我部署的flink-cdc任务抓取全量的mysql数据,checkpoint目前是持久化到oss上,我希望每次重启任务的时候不要从头开始抓取所有的消息。我的想法是在任务里面直接获取oss上最新进度的checkpoint目录,然后通过SavepointRestoreSettings去恢复任务进度,但是不生效。请问是什么情况,或者有没有别的更好解决方案?

问答 2023-12-31 来自:开发者社区

使用 flink-cdc 期间 mysql 发现主从切换的话,会有啥影响不?

使用 flink-cdc 期间 mysql 发现主从切换的话,会有啥影响不?

问答 2023-12-28 来自:开发者社区

我flink-cdc接mysql/mongo 然后写入mq为什么经常日志会这样?

flink-cdc接mysql/mongo 然后写入mq(ververica-connector-mq),为什么经常日志会这样?info2023-12-21 01:01:44,599 [MQClientFactoryScheduledThread] INFO RocketmqClient [] - se...

问答 2023-09-12 来自:开发者社区

flink-cdc 读取mysql double类型 进入flink变成科学计数法了这怎么破?

flink-cdc 读取 mysql double类型 进入flink 变成科学计数法了 这怎么破。使用table API ?

问答 2023-08-23 来自:开发者社区

请教各位大佬一个问题,我在使用flink-cdc 2.3.0的时候同步mysql中的一张表,运行起?

请教各位大佬一个问题,我在使用flink-cdc 2.3.0的时候同步mysql中的一张表,运行起来的时候删除实际表的一个字段,会导致任务异常,会导致flink集群挂掉,有大佬知道是怎么回事么?日志报错,看的是任务取消不掉,导致的taskmanager宕机:2023-08-17 16:44:14,157 WARN org.apache.flink.runtime.taskmanager.Tas.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

数据库领域前沿技术分享与交流

+关注
相关镜像