问答 2024-08-19 来自:开发者社区

Flink CDC 2.0 版本是否支持新增表时同时同步全量和增量数据?

Flink CDC 2.0 版本是否支持新增表时同时同步全量和增量数据?

问答 2024-07-02 来自:开发者社区

对于Flink CDC,CDC运行过程中,新增一张需要同步的表,重新提交job后,新增的表会全量?

对于Flink CDC,CDC运行过程中,新增一张需要同步的表,重新提交job后,只有新增的表会全量同步?,其它表增量同步 ?

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之整库从mysql同步到StarRocks里面,首次全量是否会对mysql造成大量资源消耗,导致影响业务服务

问题一:有用springboot框架开发flink任务的朋友吗? 有用springboot框架开发flink任务的朋友吗? 参考答案: 关于Spring Boot框架开发Flink任务,是可以的。您可以将Flink应用以微服务的方式整合进Spring Boot项目中,利用Spring Boot的便利性进行资源管理和服务部署,同时结合Flink提供的Ja...

实时计算 Flink版产品使用问题之整库从mysql同步到StarRocks里面,首次全量是否会对mysql造成大量资源消耗,导致影响业务服务
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之在进行整库同步MySQL数据到StarRocks时,遇到全量数据可以同步,但增量数据无法同步,是什么导致的

问题一:flink有什么办法可以加快同步速度吗? 我用flinkSql清洗 测试环境一个数据,join 8个表,8万条数据,为什么平均每秒才同步了5,6条数据吗?有什么办法可以加快同步速度吗? ...

实时计算 Flink版产品使用问题之在进行整库同步MySQL数据到StarRocks时,遇到全量数据可以同步,但增量数据无法同步,是什么导致的
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之任务在同步过程中新增同步表后选择全量初始化历史数据,是否会阻塞原先其余表的增量同步

问题一:Flink cdc在同步过程中新增同步表后选择全量初始化历史数据,会阻塞原先其余表的增量同步吗? Flink cdc任务在同步过程中新增同步表后选择全量初始化历史数据,会阻塞原先其余表的增量同步么? 参考答案: 新增表不影响其他,有个feature是新增表不断流。增量数据从任务开始就在同步了。历史数据同步及binlog同步在全量阶段是并行执行的...

实时计算 Flink版产品使用问题之任务在同步过程中新增同步表后选择全量初始化历史数据,是否会阻塞原先其余表的增量同步
问答 2024-06-10 来自:开发者社区

Flink cdc模式同步mysql数据时怎么在全量阶段消费的数据有序

Flink cdc模式同步mysql数据时怎么在全量阶段消费的数据有序

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之mysqlcdc从指定时间戳同步是不是会抽取数据源全量binkog到cdc,然后cdc再根据时间戳进行过滤

问题一:Flink CDC用mysql cdc2.3跨坐同步,从任务启动10分钟内没有数据。什么原因? Flink CDC用mysql cdc2.3跨坐同步,从指定时间戳5分钟前同步,任务表象是 1.任务启动10分钟内没有数据,10分钟后有数据进入。 2.运维告警,在我们任务启动后的10分钟左右专线带宽拉满了。 想问一下,mysql cdc从指定时间戳同步是不是会...

实时计算 Flink版产品使用合集之mysqlcdc从指定时间戳同步是不是会抽取数据源全量binkog到cdc,然后cdc再根据时间戳进行过滤
问答 2024-05-20 来自:开发者社区

Flink CDC里 elsaticseach 跨集群同步数据有使用 增量/全量吗?

Flink CDC里 elsaticseach 跨集群同步数据有使用 增量/全量, 使用 flink-cdc 可行吗?

文章 2024-05-18 来自:开发者社区

实时计算 Flink版产品使用合集之支持在同步全量数据时使用checkpoint吗

问题一:FLINK CDC 里面却只操作了30-50条,其中间过程没有做任何操作? FLINK CDC DataStreamSource获取到数据是 171条,但是DataStreamSource.map 里面却只操作了30-50条,其中间过程没有做任何操作? 参考回答: 在 Flink CDC 中,有可能因为并行度设置不当而导致数据丢失或者数据处理不...

实时计算 Flink版产品使用合集之支持在同步全量数据时使用checkpoint吗

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注