问答 2024-03-19 来自:开发者社区

flink cdc 同步pgsql 会丢数据吗?我这查的快照的数据都少为啥?

flink cdc 同步pgsql 会丢数据吗?我这查的快照的数据都少为啥?数据写到hive跟原库比较时候有的表就hive少一下数据

问答 2024-03-19 来自:开发者社区

Flink CDC 里整库同步的文档改了吗?

Flink CDC 配置文档,如果需要在 sink 端配置 Doris 集群,我应该如何编写?具体问题是,对于整库同步,我是否需要编写三个 IP 地址?如果是,这些 IP 地址和端口号的分隔符应该是逗号还是别的字符?source: type: mysql name: MySQL Source hostname: 127.0.0.1 port: 3306 username: a...

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2024-03-19 来自:开发者社区

Flink CDC 里 mysqlcdc同步数据到mongo,怎么加快?

使用 MySQL CDC 同步数据到 MongoDB 时,因为 MySQL 源表数据量很大(3亿条记录),我尝试执行 insert into mongo select * from mysql where id > 1亿。但是程序在处理 id

问答 2024-03-19 来自:开发者社区

Flink CDC 里mysql无主键表的同步,我看到目前无主键表的同步限制条件还比较多怎么做?

mysql无主键表的同步,我看到目前无主键表的同步限制条件还比较多,请问Flink CDC判断一张表是否有主键是怎么判断的,在没有primary key的时候会把unique key看作主键么?

问答 2024-03-19 来自:开发者社区

Flink CDC 里怎么可以在同步MySQL数据到doris的啊?

在使用 Flink CDC 同步 MySQL 数据到 Doris 的 unique key 表时,我能够同步更新操作,但删除操作却没有被同步。我不确定是不是我的代码配置有问题。以下是我的 source 端和 sink 端的配置。我使用的是版本2.0.1,目前在 unique key 和 duplicate 模型的表中都无法同步删除操作。如何解决这个问题呢?

问答 2024-03-19 来自:开发者社区

Flink CDC 里像以Rowid创建的物化视图如果用cdc同步呢?

Flink CDC 里像以Rowid创建的物化视图如果用cdc同步呢?

问答 2024-03-19 来自:开发者社区

Flink CDC 里同步的表中,支持多列主键表么?

Flink CDC 里同步的表中,支持多列主键表么?一个1000万条纪录的表,两列主键,一直显示检查点检查超时为什么?其他单列主键的,检查点一下就完成了。

问答 2024-03-19 来自:开发者社区

Flink CDC 里新加的表,从sp重启后,全量同步一会,就不同步了,数据条数一直不变为什么?

Flink CDC 里新加的表,从sp重启后,全量同步一会,就不同步了,数据条数一直不变为什么?scanNewlyAddedTableEnabled(true)

问答 2024-03-19 来自:开发者社区

flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗?

flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗?现在就是第一次读全量,读不进去,其他的表没问题,这个800万的表就挂起了,帮忙看下?

问答 2024-03-19 来自:开发者社区

flink cdc同步一个oracle表,数据量大概800万,检查点失败,有朋友能给点排查思路么?

flink cdc同步一个oracle表,数据量大概800万,检查点失败,有朋友能给点排查思路么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注