问答 2023-12-11 来自:开发者社区

Flink CDC用mysql cdc2.3跨坐同步,从任务启动10分钟内没有数据。什么原因?

Flink CDC用mysql cdc2.3跨坐同步,从指定时间戳5分钟前同步,任务表象是1.任务启动10分钟内没有数据,10分钟后有数据进入。2.运维告警,在我们任务启动后的10分钟左右专线带宽拉满了。想问一下,mysql cdc从指定时间戳同步是不是会抽取数据源全量binkog到 cdc,然后cdc再根据时间戳进行过滤?跨云同步

问答 2023-12-11 来自:开发者社区

Flink CDC跑联表任务时候,程序的内存会慢慢增大,这个报错是因为什么呢?

Flink CDC跑联表任务时候,程序的内存会慢慢增大,达到4G左右的时候会突然降到300M,同时jobmanager日志里显示有报错ERROR org.apache.flink.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler [] - Failed to transfer file from TaskExecutor ....

问答 2023-12-11 来自:开发者社区

Flink CDC中flink run命令启动任务后,我vim XX.jar 里面能找到这个包呀?

Flink CDC中flink run命令启动任务后,log里提示少包,但是我vim XX.jar 里面能找到这个包呀?

问答 2023-12-11 来自:开发者社区

Flink CDC 我提交任务到k8s上运行。但里面设置的checkpoint的时间间隔一直不生效?

Flink CDC 我提交任务到k8s上运行。但里面设置的checkpoint的时间间隔一直不生效?(我在代码中设置的是720000ms,720s但是web界面显示的是默认值30s,如下图),请问如何使这个值生效呀?我的任务提交语句是./bin/flink run-application --target kubernetes-application --parallelism 3 -Dkube....

问答 2023-12-10 来自:开发者社区

Flink CDC的RestClusterClient停止任务,报这个错,要怎么解决?

Flink CDC的RestClusterClient停止任务,调用stopWithSavepoint方法,报这个错,要怎么解决?Caused by: java.lang.IllegalStateException: executor not accepting a task at org.apache.flink.shaded.netty4.io.netty.resolver.Addre...

问答 2023-12-10 来自:开发者社区

Flink CDC这个任务我是从17:30开始跑得,也就是说过了6个小时开始报错?

Flink CDC这个任务我是从17:30开始跑得,也就是说过了6个小时开始报错?

问答 2023-12-10 来自:开发者社区

Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。能否帮忙看一下呀?

Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。查看日志似乎是找不到checkpoint了。能否帮忙看一下呀?。下面是提交的运行语句,报错图和日志:./bin/flink run-application --target kubernetes-application -Dkubernetes.cluster-id=cluster231205aa -Dkubernet....

问答 2023-12-10 来自:开发者社区

Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。流程也很长?

Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。变更管理严格的场景下,流程也很长?

问答 2023-12-10 来自:开发者社区

Flink CDC怎么样配置任务,能实现实时同步多张MySQL源表时,只读取一次binlog?

Flink CDC怎么样配置任务,能实现实时同步多张MySQL源表时,只读取一次binlog?

问答 2023-12-10 来自:开发者社区

Flink CDC有没有遇到过Completed Job List任务数不全的问题?

Flink CDC有没有遇到过Completed Job List任务数不全的问题?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注