文章 2025-04-13 来自:开发者社区

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造 张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 ​3488​ 字,预计阅读 11 ​分钟 业务背景 基于开源 Apache Flink 打造的蚂蚁流式.....

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
问答 2025-02-27 来自:开发者社区

Flink 控制台Cancel Job,然后重新提交任务,此时是全量同步,还是增量同步?

如果在 Flink 控制台上点击取消任务(Cancel Job),然后bash bin/flink-cdc.sh tools/test_to_doris.yaml --flink-home /usr/local/flink-1.18.0doris提交任务,此时会进行全量同步,还是增量同步

问答 2025-02-20 来自:开发者社区

Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题

flink CDC任务监听mysql数据。只要不是从savepoint/checkpoint中恢复,都是能成功运行并监听数据的,但是只要从savepoint/checkpoint中恢复作业,就会报如下错误:Caused by: java.lang.RuntimeException: One or more fetchers have encountered exception at org...

问答 2025-02-13 来自:开发者社区

Flink默认先全量再增量同步,全量时会对checkpoint上锁,导致请求检查点时失败,任务重启

如题,我是新手小白一个。同步的这个表很大,大概需要4小时时间才能导出所有数据。我在启动一个flink任务时,使用的是1.20版本,对应的flink-sql-connector-oracle-cdc-3.3.0.jar。同步命令如下,默认会先全量同步,对checkpoint上锁,导出这个表的全部数据后创建快照,释放checkpoint锁,接着自动进入增量同步模式:bin/flink run \ .....

文章 2024-10-14 来自:开发者社区

大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
文章 2024-10-12 来自:开发者社区

Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin

代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 在上节中,已经使用 Dockerfile +...

Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
问答 2024-10-11 来自:开发者社区

Flink on k8s同时部署两个seesion,提交任务卡死

K8S是Rancher搭建的。使用Native Kubernerntes部署Flink Session。只有一个session的时候提交任务都没有问题。当我部署了另外一个Session,这个是时候提交任务,就会一直卡住,不会向JobManager提交任务,也不报错,提交的时候指定了cluster.id指向不同的session。

问答 2024-09-25 来自:开发者社区

flink任务关联维表时,怎么取维表最新一条数据

flink任务关联维表时,怎么取维表最新一条数据

问答 2024-09-24 来自:开发者社区

flink 内部支持任务间血缘关系么?哪个版本支持呢

flink 内部支持任务间血缘关系么?哪个版本支持呢

文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务

问题一:Flink scala 和 java混编,Java21的字符串模板不识别 有什么办法解决吗? Flink scala 和 java混编,Java21的字符串模板不识别 有什么办法解决吗? 参考答案: 在Flink中,Scala和Java代码混编时,可能会遇到Java 21的字符串模板不识别的问题。为了解决这个问题,您可以尝试以下几种方法: ...

实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注