问答 2023-04-19 来自:开发者社区

环境Flink1.16.0 、FLink cdc 2.3.0 ,同一个mysql数据库同步20张表后

环境Flink1.16.0 、FLink cdc 2.3.0 ,同一个mysql数据库同步20张表后,第21个同步job 会报java.sql.SQLTransientConnectionException: connection-pool-10.200.10.62:3316 - Connection is not available, request timed out after 30000....

问答 2023-04-19 来自:开发者社区

请教一下,使用flink cdc 做实时表同步时,如果需要增加同步的源表字段,是不是原有的check

请教一下,使用flink cdc 做实时表同步时,如果需要增加同步的源表字段,是不是原有的checkpoint就没用了? 测试:建立同步job---建立checkpoint---cancel job---源表和sink表定义增加字段---从checkpoint恢复---job执行报错?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-04-19 来自:开发者社区

大佬,flink cdc sql同步数据,是不是随时都可以上线。因为每次上线后都是从头启动的,不知道

大佬,flink cdc sql同步数据,是不是随时都可以上线。因为每次上线后都是从头启动的,不知道会不会影响报表?

问答 2023-04-13 来自:开发者社区

flink cdc 同步oracle 到 doris报错

Caused by: java.lang.IllegalStateException: Retrieve schema history failed, the schema records for engine a43da638-25e2-42dc-a368-a12df187a11c has been removed, this might because the debezium engine....

问答 2023-04-10 来自:开发者社区

有人知道为什么flink cdc同步postgres表数据需要两个数据库连接吗?

有人知道为什么flink cdc同步postgres表数据需要两个数据库连接吗?

问答 2023-04-10 来自:开发者社区

请问flink pgsql cdc 同步数据,要求pgsql的wal.level必须是logical

请问flink pgsql cdc 同步数据,要求pgsql的wal.level必须是logical吗?

问答 2023-04-10 来自:开发者社区

大佬们,使用flink cdc 同步oracle的数据,如果归档日志被删除了,流任务重新拉起的话,还

大佬们,使用flink cdc 同步oracle的数据,如果归档日志被删除了,流任务重新拉起的话,还能读到oracle的数据吗?如果oracle的数据在一开始就没有开启归档日志,在开启归档日志之前的数据Flink cdc可以读取到吗?

问答 2023-04-10 来自:开发者社区

使用 flink cdc讲数据写入到 以mor方式hudi中 同时配置将hudi元数据同步到hiv

使用 flink cdc讲数据写入到 以mor方式hudi中 同时配置将hudi元数据同步到hive上,使用presto查询外部表 只能查 外部表 ro 对于生成的rt 表查询报错,请问有使用presto查询hudi的吗?

问答 2023-04-06 来自:开发者社区

请问flink cdc同步数据的时候遇到这个问题是什么情况呢?

请问flink cdc同步数据的时候遇到这个问题是什么情况呢?

问答 2023-04-05 来自:开发者社区

大佬们,我刚接触Flink CDC,同步Oracle数据,怎么感觉延迟很高?

大佬们,我刚接触Flink CDC,同步Oracle数据,怎么感觉延迟很高?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注