阿里云文档 2025-04-07

如何通过Flink CDC实时订阅AnalyticDB PostgreSQL的全量和增量数据

AnalyticDB for PostgreSQL提供自研的CDC连接器,基于PostgreSQL的逻辑复制功能实现订阅全量和增量数据,可与Flink无缝集成。该连接器能够高效捕获源表的实时变更数据,支持实时数据同步、流式处理等,助力企业快速响应动态数据需求。本文介绍如何通过阿里云实时计算Flink版CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据。

阿里云文档 2025-03-28

Flink CDC写入MaxCompute

MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。

问答 2025-02-20 来自:开发者社区

Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题

flink CDC任务监听mysql数据。只要不是从savepoint/checkpoint中恢复,都是能成功运行并监听数据的,但是只要从savepoint/checkpoint中恢复作业,就会报如下错误:Caused by: java.lang.RuntimeException: One or more fetchers have encountered exception at org...

阿里云文档 2024-06-28

社区CDC

本文为您介绍如何在阿里云实时计算Flink版中使用社区版CDC(Change Data Capture)连接器,以及更改连接器名称。

问答 2023-12-10 来自:开发者社区

Flink CDC针对大状态如何做到快速checkpoints?

Flink CDC针对大状态如何做到快速checkpoints?原生连接器,用文件系统的要比s3的要高吧,检查点存储?如果这里的本机文件系统目录挂在的是nas,应该flink会像本机目录一样处理吧?我用的operator-checkpoints-ha那个示例,现在大概半个小时就会挂掉,然后也没有检查点

文章 2023-08-15 来自:开发者社区

Flink CDC 中,Checkpoints

在 Flink CDC 中,Checkpoints 是用于实现故障恢复和容错的机制。Checkpoints 记录了作业执行过程中的状态信息,包括 MySQL binlog 的位置(即 binlog pos)以及其他任务的状态等。 对于 binlog pos,它在 Checkpoint 过程中会被更新。Flink CDC 会周期...

阿里云文档 2023-01-29

如何使用FlinkCDC将MySQL数据同步至EMRServerlessStarRocks

本文为您介绍如何使用Flink CDC将MySQL数据同步至EMR Serverless StarRocks中。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注