问答 2025-01-10 来自:开发者社区

请问一下 Flink CDC 方式同步,目标数据量比源数据偏多问题

同步方式:PIPELINE source源:mysql sink源:starrocks 问题:初始化同步后,部分starrock表的数据比抽取的mysql源表还多 特点:mysql业务库使用了seata中间件做分布式事务,有物理删除行为

阿里云文档 2024-06-28

社区CDC

本文为您介绍如何在阿里云实时计算Flink版中使用社区版CDC(Change Data Capture)连接器,以及更改连接器名称。

问答 2024-04-15 来自:开发者社区

Flink CDC里每次同步pg固定的数据量就报这个错,有大佬知道为什么吗?

Flink CDC里每次同步pg固定的数据量就报这个错,有大佬知道为什么吗?

问答 2024-03-19 来自:开发者社区

flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗?

flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗?现在就是第一次读全量,读不进去,其他的表没问题,这个800万的表就挂起了,帮忙看下?

问答 2024-03-19 来自:开发者社区

flink cdc同步一个oracle表,数据量大概800万,检查点失败,有朋友能给点排查思路么?

flink cdc同步一个oracle表,数据量大概800万,检查点失败,有朋友能给点排查思路么?

问答 2023-08-22 来自:开发者社区

Flink CDC sqlserver-cdc同步1000W左右数据量到pg库,sqlserver?

Flink CDC sqlserver-cdc同步1000W左右数据量到pg库,sqlserver日志文件设置的初始10G、最大200G,日志利用率45~80%左右,每次只能同步200~500W左右的数据量到pg,就一直是阻塞等待状态了,只有手工反复重启sqlserver反向代理,数据才能完整的推到下游pg库,sqlserver日志等待模式状态为REPLICATION, 请问这种情况是啥原因导致....

问答 2023-08-22 来自:开发者社区

Flink CDC整库同步到hudi,有部分表数据量超过千万,每次都报内存超出限制oom,每个?

Flink CDC整库同步到hudi,有部分表数据量超过千万,每次都报内存超出限制oom,每个taskmaster给10g都不够,大家有没有好的解决方案?并行度给的2

问答 2023-07-13 来自:开发者社区

Flink监控cdc同步了多少数据量你们是怎么搞的?

Flink监控cdc同步了多少数据量你们是怎么搞的?

问答 2023-05-29 来自:开发者社区

大佬们,想问一下flink cdc支持同步postgres的按日分区的分区表吗?数据量有点大,分区后

大佬们,想问一下flink cdc支持同步postgres的按日分区的分区表吗?数据量有点大,分区后比较容易清理历史数据

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注