问答 2021-12-08 来自:开发者社区

flink yarn application 提交任务出错

今天尝试使用yarn application模式(带yarn.provided.lib.dirs参数),将$FLINK_LIB目录下的jar包上传到了hdfs,结果报了如下的错,是少了哪个jar包或配置文件吗? org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn Applicat.....

问答 2021-12-08 来自:开发者社区

flink on k8s application mode指定运行作业jar包路径问题

官网给的示例命令如下 ./bin/flink run-application -p 8 -t kubernetes-application \ -Dkubernetes.cluster-id=flink-k8s-application-cluster \ -Dtaskmanager.memory.process.size=4096m \ -Dkubernetes.taskmanager.c...

问答 2021-12-08 来自:开发者社区

flink1.9.1任务已经fail掉了,但在yarn上这个application还是在runnin

请教大家: flink1.9.1任务已经fail掉了,但在yarn上这个application还是在running,且yarn上分配的资源变成了1,程序中用的是固定延迟重启策略,请问有人知道任务挂掉但yarn上一直在running是什么原因么? http://apache-flink.147419.n8.nabble.com/file/t802/Inked%E6%8D%95%E8%8E%B711....

问答 2021-12-07 来自:开发者社区

Flink on Zeppelin 中Yarn Application 模式是什么?

Flink on Zeppelin 中Yarn Application 模式是什么?

问答 2021-12-07 来自:开发者社区

flink on native k8s application模式作业启动慢问题

同一个作业,在请求资源相同的情况下,使用flink on native k8s session mode和application mode启动时间相差十几倍。 在session mode下提交作业,最多需要2分钟。而在application mode下提交作业,少则10分钟,多则半个小时至一个小时。 1. 想问一下作业启动速度跟什么有关? 2. 要怎么提高作业启动速度呢?*来自志愿者整理的fli....

问答 2021-12-07 来自:开发者社区

flink on yarn 的application模式怎么提交多个job组成应用程序呢?

1.flink on yarn 的application模式怎么提交多个job组成应用程序呢?在官网和论坛的文章中这里没有详细展开。 与per-job 模式相比,Application 模式允许提交由多个Job组成的应用程序。Job执行的顺序不受部署模式的影响,但受启动Job的调用的影响。使用阻塞的 execute()方法,将是一个顺序执行的效果,结果就是"下一个"Job的执行被推迟到“该”J.....

问答 2021-12-07 来自:开发者社区

Flink 中作业部署方式K8s application mode的说明和示例分别是什么?

Flink 中作业部署方式K8s application mode的说明和示例分别是什么?

问答 2021-12-06 来自:开发者社区

flink1.11 Application 模式下启动失败问题

我把作业提交模式从 yarn-cluster 换成 application 模式,启动失败,报两个错误: 1、java.lang.ClassNotFoundException: org.apache.hadoop.yarn.api.records.ResourceInformation 2、cannot assign instance of org.apache.commons.collecti....

问答 2021-12-03 来自:开发者社区

Re: flink-1.11 使用 application 模式时 jobid 问题

这个问题目前有 Issue 在跟踪吗?在 1.12 测试发现还是有这个问题,有办法解决吗?*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

请问同一个flink history server能够支持多个flink application c

请问同一个flink history server能够支持多个flink application cluster吗? 您好, 我们目前在k8s上以flink application模式运行作业,现在希望部署一个history server方便debug。但是根据文档,flink historyserver貌似只支持单个cluster下不同job的使用方法,如果存在多个cluster,相同的j...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注