问答 2023-12-31 来自:开发者社区

Flink CDC想同步的数据,加上特别的字段, 可以加吗?

Flink CDC想同步的数据,加上特别的字段, 可以加吗?

问答 2023-12-31 来自:开发者社区

Flink CDC同步数据库,库名称变了,哪里能改吗? 官方文档没找到?

Flink CDC同步数据库,库名称变了,route只能到表级别,哪里能改吗?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-12-31 来自:开发者社区

flink cdc作业(多个数据库)同步数据库下的表运行一段时间,后面需要下线某些表?

flink cdc作业(多个数据库)同步数据库下的表运行一段时间,后面需要下线某些表?从savepoint或者ck启动就报这个文件找不到,但是这个文件在mysql中是有的,如果不上线和下线表,就能正常从保存点启动?Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting ....

问答 2023-12-31 来自:开发者社区

Flink CDC中postgresql-cdc作业持续同步几天后,不能进行增量同步了?

Flink CDC中PostgreSQL-CDC作业持续同步几天后,重新从状态恢复启动后,无法进行增量同步。设置的deberzium.heartbeat.interval.ms和deberzium.heartbeat.action.query也未执行,导致PostgreSQL数据库的WAL日志空间快速增长,导致磁盘空间不足,是怎么回事呢?

文章 2023-12-30 来自:开发者社区

使用Flink CDC从SQL Server同步数据到MySQL

为了使用Flink CDC从SQL Server同步数据到MySQL,你需要按照以下步骤进行: 环境准备:首先,确保你有一台安装了Java环境的centos系统的主机或虚拟机。 下载Flink和相关jar包:访问Flink官网下载Flink安装包。然后,下载以下jar包: flink-sql-con...

问答 2023-12-27 来自:开发者社区

Flink cdc oracle 同步 Oracle 数据库,程序启动后无反应

Flink cdc oracle 2.11Flink 1.13.6``` SourceFunction sourceFunction = OracleSource.builder() .hostname("xx.x.xx.x") .port(1531) .database("TEST") //...

文章 2023-12-26 来自:开发者社区

快速实践: 通过 Flink CDC 一键整库同步 MongoDB 到 Paimon

导言 MongoDB 是一个比较成熟的文档数据库,在业务场景中,通常需要采集 MongoDB 的数据到数据仓库或数据湖中,面向分析场景使用。 Flink MongoDB CDC 是 Flink CDC 社区提供的一个用于捕获变更数据(Change Data Capturing)的 Flink 连接器,可连接到 MongoDB 数据库和集合,并捕获其中的文档增加、更新、替换、删除等变更操作。 ...

快速实践: 通过 Flink CDC 一键整库同步 MongoDB 到 Paimon
问答 2023-12-25 来自:开发者社区

使用flink1.17 ,flink cdc 3.0 同步oracle数据报如下错误,有遇到过吗?

使用flink1.17 ,flink cdc 3.0 同步oracle数据报如下错误,有大神遇到过吗?Caused by: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.DataException: file is not a valid field name

问答 2023-12-25 来自:开发者社区

Flink CDC中orcale同步到doris,表结构过去了,但是数据没过去,能帮忙看下吗?

Flink CDC中orcale同步到doris,表结构过去了,但是数据没过去,能帮忙看下吗?

问答 2023-12-25 来自:开发者社区

Flink CDC中oracle19c 开启logminer同步数据,报错 19c:有解决的吗?

Flink CDC中oracle19c 开启logminer同步数据,报错 19c:Caused by: java.sql.SQLException: ORA-44609: CONTINOUS_MINE 已经不支持用于 DBMS_LOGMNR.START_LOGMNR。有解决的大佬吗,或者修改好的源码?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注