问答 2023-10-31 来自:开发者社区

Flink CDC我已经设置了ck超时时间5min,而且我发现在ck失败后不是会重启任务嘛?

Flink CDC我已经设置了ck超时时间5min,而且我发现在ck失败后不是会重启任务嘛,一直取消不掉任务,还把task给kill了,这咋排查呢? Exceeded checkpoint tolerable failure threshold. The latest checkpoint failed due to Checkpoint expired before completing., ....

问答 2023-10-31 来自:开发者社区

Flink CDC中通过yarn-per-job 其他任务都在ACCEPTED状态?

Flink CDC中通过yarn-per-job 提交flink 任务到yarn 上 当一张表写入多个数据源(也就是说有多个insert 语句 StreamStatementSet)然后yarn 上有几个insert语句 就会申请几个yarn 任务id 但是只是只有第一个yarn 任务能到running的状态其他任务都在ACCEPTED状态?

问答 2023-10-29 来自:开发者社区

请教一下:现在要改成大数据计算MaxCompute话要怎么实现呢这个实时计算任务呢?

请教一下:在原来的数据处理架构中 有一个Apache FLink任务实时消费Kafka 做一个窗口的计算 现在要改成大数据计算MaxCompute话要怎么实现呢这个实时计算任务呢?

问答 2023-10-25 来自:开发者社区

一个flink任务应该怎么进行性能测试,包含哪几方面?

一个flink任务应该怎么进行性能测试,包含哪几方面?

问答 2023-10-25 来自:开发者社区

Flink中集成celeborn时,用kyuubi提交spark3.0版本的任务有的报错,怎么处理?

Flink中我在集成celeborn的时候,使用kyuubi提交spark3.0版本的任务有的sql会有报错,100%复现,用命令行提交就没问题,怎么处理?

问答 2023-10-24 来自:开发者社区

flink on yarn 环境,当任务程序包和配置文件目录config分离,应该怎么启动任务程序?

flink on yarn 环境,当任务程序包和配置文件目录config分离,并上传到HDFS时,应该怎么启动任务程序?

问答 2023-10-23 来自:开发者社区

Flink CDC任务, Source的2个subtask不均匀,这种情况一般是什么导致的?

Flink CDC任务, Source的2个subtask不均匀,一个subtask的Records Sent是有值,另外的一个subtask的Records Sent为0,这种情况一般是什么导致的?

问答 2023-10-23 来自:开发者社区

Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,这样下去哪受得了呢?

Flink CDC的资源有限,估摸也就几十G可用,增加一个flinksql任务,至少消耗一个task Manager的资源,这样下去哪受得了呢?

问答 2023-10-22 来自:开发者社区

Flink CDC yarn-per 模式提交flink任务,这个是什么情况?

Flink CDC yarn-per 模式提交flink任务,yarn上会给定一个application_id和url地址。但是我发现这个url地址某个时刻改变了,对应的job的启动时间也变了。感觉像是容器切换了,这个是什么情况?

问答 2023-10-22 来自:开发者社区

Flink CDC任务因为一些原因停止后, 如何配置可以让flink自动找到新的binlog?

Flink CDC任务因为一些原因停止后,从savePoint重启,正好遇到了监听的mysql的binlog轮换,这样启动就会报错binlog找不到。 如何配置可以让flink自动找到新的binlog?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注