问答 2022-11-20 来自:开发者社区

在flink sql中用mysql cdc 同步数据, 每一张表同步都会创建一个binlog dum

在flink sql中用mysql cdc 同步数据, 每一张表同步都会创建一个binlog dump. 这样对上游业务可能会造成影响, 有相关配置可以实现一个实例对应一个dump线程吗?我在cdc官方文档 没有找到相关的配置

问答 2022-11-14 来自:开发者社区

请教下各位,不知道flink cdc同步mysql数据库的数据跟datahub、dataworks或

请教下各位,不知道flink cdc同步mysql数据库的数据跟datahub、dataworks或者是hologres的关系。我现在想利用flinkcdc和hologres做实时数仓。flink cdc到holo 的方法不是很清楚。若果可以的话能否提供些demo或者资料,感谢,打扰了。

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2022-11-13 来自:开发者社区

大家有测试过 一个脚本采用flink cdc 同步mysql 能同时同步多少表吗 ?

大家有测试过 一个脚本采用flink cdc 同步mysql 能同时同步多少表吗 ?

问答 2022-11-13 来自:开发者社区

flink cdc sql 层相关忽略同步变更有大佬指导下吗?

flink cdc sql 层相关忽略同步变更

问答 2022-11-05 来自:开发者社区

请教大佬们一个问题,flink sql cdc 怎么样可以做部分数据的同步,有部分数据是快照记录数据

请教大佬们一个问题,flink sql cdc 怎么样可以做部分数据的同步,有部分数据是快照记录数据不更新呢?

问答 2022-11-05 来自:开发者社区

我们在Flink Standalone 上测试 flink cdc 同步mysql历史数据的时候,当

我们在Flink Standalone 上测试 flink cdc 同步mysql历史数据的时候,当表不存在或者连接mysql超时的时候,数据同步任务会失败,同时jobmanger进程也会退出。我们准备在启动任务之前先进行mysql连接可用性和表不存在的检测。不知道大家有没有遇到过类似的问题,又是如何解决的

问答 2022-11-03 来自:开发者社区

flink cdc 同步mysql数据库时 全量阶段出现 读取快照失败 连接重置的异常 导致应用重

,之前报的异常提示需要增加数据库的wait_timeout 时长 原本180s修改成7200s 但是测试同步到50分钟还是出现了连接重置的情况 java.lang.RuntimeException: One or more fetchers have encountered excepti...

问答 2022-10-31 来自:开发者社区

flink cdc 2.0 是分片机制,全量同步,怎么保障顺序同步?状态需要顺序的

flink cdc 2.0 是分片机制,全量同步,怎么保障顺序同步?状态需要顺序的

问答 2022-10-31 来自:开发者社区

flink 15版本cdc connector同步mysql的数据,本地能拉取到数据,打jar包之后

flink 15版本cdc connector同步mysql的数据,本地能拉取到数据,打jar包之后提交就拉取不到变更数据了,而且看不到错误日志?有人遇到过这个情况吗?

问答 2022-10-30 来自:开发者社区

flink cdc 2.2同步Tidb,tidb数据库用户有相关权限要求吗?

flink cdc 2.2同步Tidb,tidb数据库用户有相关权限要求吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注