问答 2025-02-27 来自:开发者社区

flink cdc 3.0支持手动savepoint,然后从停止job,然后从检查点启动job吗

flink cdc 3.0支持手动savepoint,然后从停止job,然后从检查点启动job吗

问答 2025-02-13 来自:开发者社区

Flink默认先全量再增量同步,全量时会对checkpoint上锁,导致请求检查点时失败,任务重启

如题,我是新手小白一个。同步的这个表很大,大概需要4小时时间才能导出所有数据。我在启动一个flink任务时,使用的是1.20版本,对应的flink-sql-connector-oracle-cdc-3.3.0.jar。同步命令如下,默认会先全量同步,对checkpoint上锁,导出这个表的全部数据后创建快照,释放checkpoint锁,接着自动进入增量同步模式:bin/flink run \ .....

问答 2024-11-20 来自:开发者社区

flink下的非对称检查点

flink的非对称检查点开启后,会直接就生效吗,就全部使用的就是非对称检查点

问答 2024-09-20 来自:开发者社区

Flink1.19.1 S3(minio)保存检查点报错

2024-09-19 17:54:02,076 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 1 (type=CheckpointType{name='Checkpoint', sharingFilesStrategy=FORWARD_BACKWARD})...

文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务

问题一:Flink scala 和 java混编,Java21的字符串模板不识别 有什么办法解决吗? Flink scala 和 java混编,Java21的字符串模板不识别 有什么办法解决吗? 参考答案: 在Flink中,Scala和Java代码混编时,可能会遇到Java 21的字符串模板不识别的问题。为了解决这个问题,您可以尝试以下几种方法: ...

实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务
文章 2024-08-19 来自:开发者社区

实时计算 Flink版产品使用问题之作业的检查点失败一般是什么导致的

问题一:Flink的作业为啥kafka的消息没有sink到ADB? Flink的作业为啥kafka的消息没有sink到ADB? 参考答案: countWindowAll设置有问题 ...

实时计算 Flink版产品使用问题之作业的检查点失败一般是什么导致的
问答 2024-08-18 来自:开发者社区

Flink CDC 读取mysq出现问题从检查点重启这个flinkcdc任务也不行,如何解决问题?

Flink CDC 读取mysql,出现这个题后,从检查点重启这个flinkcdc任务也不行,请问下可以如何解决这个问题?

问答 2024-08-14 来自:开发者社区

Flink一个作业同步多张表到kafka 深度检查直接报错了,怎么回事?

Flink一个作业同步多张表到kafka 深度检查直接报错了,怎么回事?只同步一张表就没有问题 org.apache.flink.table.api.ValidationException: SQL validation failed. From line 195, column 6 to line 195, column 19: Unknown target column 'value__...

问答 2024-08-06 来自:开发者社区

Flink手动取消的job,记录会保存多久就查不到检查点信息了?

Flink手动取消的job,记录会保存多久就查不到检查点信息了?

问答 2024-07-31 来自:开发者社区

使用Flink cdc 任务的检查点设置为增量的,看checkpoint确实是一增量的方式在保存吗?

使用Flink cdc 然后任务的检查点设置为增量的,但是好像没有效果。同样的配置,对kafka任务确是有用的,能看到checkpoint确实是一增量的方式在保存吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注