问答 2024-08-21 来自:开发者社区

OceanBase Canal 和 Flink CDC 拉取 OceanBase 增量日志上有什么?

OceanBase Canal 和 Flink CDC 在拉取 OceanBase 增量日志上有什么不同?

问答 2024-08-19 来自:开发者社区

OceanBase Canal 和Flink CDC在拉取Ocean Base增量日志上有什么不同?

OceanBase Canal 和 Flink CDC 在拉取 OceanBase 增量日志上有什么不同?

问答 2024-08-19 来自:开发者社区

如何实现 Flink CDC 中全量和增量日志的并行读取?

如何实现 Flink CDC 中全量和增量日志的并行读取?

问答 2023-12-10 来自:开发者社区

Flink CDC进行多表的数据 全量+增量 同步,报错日志如下?

Flink CDC进行多表的数据 全量+增量 同步,测试发现表数量为23个时还能正常运行(有部分任务失败会自动重启成功),在往上(比如24,25,26张表)就不能成功了(有部分任务失败且自动重启也不成功)。报错日志如下。我提交任务的运行语句如下.:./bin/flink run-application --target kubernetes-application -Dkubernetes.cl....

文章 2023-11-16 来自:开发者社区

Flink CDC如何获得增量binlog,可能是跟canal一样,伪装成从节点获取日志?

Flink CDC的工作原理类似于Canal和其他类似的产品,它会连接到MySQL服务器作为复制 slave(模拟slave),监听binlog日志,从而捕获数据库的变化。 它可以伪装成一个slave节点去请求主节点的日志,在这个过程种,它可以通过请求master节点的二进制日志来获得数据更改。由于它是作为sla...

问答 2023-11-16 来自:开发者社区

Flink CDC如何获得增量binlog,可能是跟canal一样,伪装成从节点获取日志?

Flink CDC捕获增量部分是 单并行度读取mysql增量的binlog,至于如何获得增量binlog,可能是跟canal一样,伪装成从节点获取日志? 反正数据库有一条数据变化,都是可以捕获到的?

问答 2023-11-15 来自:开发者社区

使用flink cdc 实时同步oracle 到 doris,必须开启数据库的增量日志设置吗?

目前在学习 flink cdc 实时同步技术,在 mysql 中测试通过。在 oracle 测试过程中,发现只能同步oracle 的表结构,数据无法同步到 doris,也看不到相关的错误日志。查看相关问题,文章说必须开启 oralce的supplemental_log_data_min,请问是否这个原因?公司环境的的 oracle 确实只开启了归档日志,supplemental_log_data....

问答 2023-10-03 来自:开发者社区

Flink CDC增量是通过比如pg的wal日志嘛,但是快照他是采用什么方式呢?

Flink CDC增量是通过比如pg的wal日志嘛,但是快照他是采用什么方式呢,不需要顺序的话可以理解为先并发同步快照,再单线程同步增量吗?

问答 2023-07-26 来自:开发者社区

Flink CDC中增量监听binlog日志同步的时候也会把全部数据都加载到内存吗?

Flink CDC中增量监听binlog日志同步的时候也会把全部数据都加载到内存吗?有没有试过?我现在还在全量同步阶段,如果单独的增量同步不存在全部加载到内存的问题的话,可不可以先用维表的方式做完全量同步。然后再全部流表,但是启动时跳过快照阶段,直接指定位点启动一个新的任务做后续更新同步。

问答 2023-07-13 来自:开发者社区

Flink CDC中有没有办法指定timestamp来或者增量日志?sqlserver和postgr

Flink CDC中有没有办法指定timestamp来或者增量日志?sqlserver和postgresql的,ck坏了起不来了

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注