问答 2024-01-09 来自:开发者社区

Flink CDC同步的时候数据密码会定期变化,这个有什么办法解决没?

Flink CDC同步的时候数据密码会定期变化,这个有什么办法解决没?

问答 2024-01-09 来自:开发者社区

请教Flink CDC,同步pg 时出现 idle-in-transaction 这种怎么解决?

请教Flink CDC大佬,同步pg 时出现 idle-in-transaction timeout 这种怎么解决?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2024-01-09 来自:开发者社区

各位flink cdc 同步进hudi的数据,可以用spark 改吗?

各位大哥flink cdc 同步进hudi的数据,可以用spark 改吗?

问答 2024-01-09 来自:开发者社区

Flink CDC首次全量同步几百万数据,状态后端增量方式的rocksdb,正常的吗?

Flink CDC首次全量同步几百万数据,状态后端增量方式的rocksdb,目前Checkpointed Data Size 基本接近Full Checkpoint Data Size大小,正常的吗?ck耗时也很长,请问可以从哪些方面优化优化?

问答 2024-01-09 来自:开发者社区

一样的代码,把Flink cdc从2.2升级到2.4.2同步不到pgsql的数据是什么原因?

一样的代码,把Flink cdc从2.2升级到2.4.2同步不到pgsql的数据是什么原因?也没有任何异常

问答 2024-01-09 来自:开发者社区

Flink CDC同步的源表必须要有主键吗?

Flink CDC同步的源表必须要有主键吗?Caused by: org.apache.flink.table.api.ValidationException: Incremental snapshot for tables requires primary key, but table sc_test.tag_test doesn't have primary key. at com.v...

问答 2024-01-09 来自:开发者社区

请问Flink CDC OracleConnector支持从指定scn同步么?

请问Flink CDC OracleConnector支持从指定scn同步么?

问答 2024-01-09 来自:开发者社区

Flink CDC 目前监听mysql数据源,影响到了后续同步,这个有什么解决办法吗?

Flink CDC 目前监听mysql数据源,偶发Could not find first log file name in binary log index file问题,导致binlog监听被卡住,影响到了后续同步,这个有什么解决办法吗?在issue里面好像没有找到相关问题

问答 2024-01-04 来自:开发者社区

我使用Flink cdc整库同步mysql,之前设置多表同步101个表, 这种state是否合理?

我使用Flink cdc整库同步mysql,之前设置多表同步101个表, 今天新增了1个表,然后重新部署,我还是沿用之前的状态(“有状态启动”),发现在holo这边会新建这个新增的表, 但是数据没写入, 这种state是否合理?还是说每次新增表都要使用“无状态启动”,才能写数据

文章 2024-01-04 来自:开发者社区

Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列

在Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列,你可以在创建Source表时使用EXCLUDE_ALL选项。以下是一个示例: CREATE TABLE source_table ( id INT, name STRING, age INT ) WITH ( 'connector' &...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注