问答 2023-11-22 来自:开发者社区

Flink CDC提交flink任务到yarn, 偶而报错,什么原因?

Flink CDC提交flink任务到yarn, 偶而报错Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)....

问答 2023-11-22 来自:开发者社区

Flink CDC这不同任务的不同表也需要不同的server-id?

Flink CDC这个是不同任务同一张表需要不同的server-id,还是不同任务的不同表也需要不同的server-id?

问答 2023-11-22 来自:开发者社区

Flink CDC还有其它方式能解决原本的任务数据的一致性么?

Flink CDC中msyql短时间内写入大批量数据 正常读取的cdc任务就会不断的报这个错误 重启,有时候能成功 有时候重启也还是报这个错误,目前还未修复,除了等写入任务结束后,重启任务从最新的日志读,然后补数据,还有其它方式能解决原本的任务数据的一致性么?目前我这边后续还会经常有大批数据写入的情况 不然每次都得补一遍数据了,这个值默认的30s 我昨天测试加到60s 300s还是会出现

文章 2023-11-21 来自:开发者社区

Flink作业任务部署解读

1. 引言官方部署介绍:https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/overview/Flink任务支持许多不同场景的部署,如部署作业任务至Standalone独立集群、Yarn或者K8S,部署流程如下:根据部署流程图,可以知道有如下组件:Flink Client、JobManager....

Flink作业任务部署解读
问答 2023-11-21 来自:开发者社区

Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,?

Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,yarn的,有什么排查方向吗,资源什么的都是充足的?本来是1.13版本然后部署了一个1.17flink在17上提交任务一直accepted状态没变成running,资源什么的我看也是很多的

问答 2023-11-21 来自:开发者社区

Flink CDC启动yarn-session这里指定的资源,是指每提交一个任务都会使用这些资源吗?

Flink CDC启动yarn-session这里指定的资源,是指每提交一个任务都会使用这些资源吗?还是一共使用这些资源?

问答 2023-11-21 来自:开发者社区

Flink CDC 实时同步,任务挂掉了,启动才能保证不丢数据吗

Flink CDC 实时同步,任务挂掉了,再次启动的话是必须从checkpoint启动才能保证不丢数据吗 如果checkpoint丢失咋办?2023-11-13 03:33:09,843 ERROR org.apache.flink.util.FatalExitExceptionHandler [] - FATAL: Thread 'flink-scheduler-1...

问答 2023-11-21 来自:开发者社区

Flink CDC1.18跑在k8s,任务提交上去,几十秒自动cancel了,了解吗?

Flink CDC1.18跑在k8s,任务提交上去,几十秒自动cancel了,flink1.13版本没啥问题,有大佬了解吗?

问答 2023-11-21 来自:开发者社区

flink standalone模式,jobmanager无法回收fail的任务,这个怎么解决的?

flink standalone模式,jobmanager无法回收fail的任务,导致oom这个怎么解决的?

问答 2023-11-21 来自:开发者社区

flink在standalone模式下任务失败任务太多次,这个问题有解决方案么?

flink在standalone模式下任务失败任务太多次,会导致jobmanager的jvm heap内存不断增加,这个问题有解决方案么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注