问答 2021-12-07 来自:开发者社区

Flink on Zeppelin 中普通的 Flink on Yarn 运行模式是什么?

Flink on Zeppelin 中普通的 Flink on Yarn 运行模式是什么?

问答 2021-12-07 来自:开发者社区

flink 1.11.1 yarn perjob 模式配置zookeeper的HA后出问题

今天从1.10.0升级到1.11.1,结果yarn per job 提交作业,配置zookeeper的HA之后作业提交超时,有人碰到过吗? 看日志也没记录什么。 配置是从1.10.0上粘贴过来的,1.10.0是正常可用的。 *来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

flink1.9.1用采用-d(分离模式提交)作业报错,但是不加-d是可以正常跑的什么情况?

请问大家: 我采用如下命令提交: flink run -m yarn-cluster -yn 3 -ys 3 -yjm 2048m -ytm 2048m -ynm flink_test -d -c net.realtime.app.FlinkTest ./hotmall-flink.jar 就会失败,报错信息如下: [AMRM Callback Handler Thread] E...

问答 2021-12-07 来自:开发者社区

通过java程序使用perJob模式提交一个flink,请问flink可以做到吗,具体调用哪个类呀?

我这面想通过java程序使用perJob模式提交一个flink jar任务到yarn集群,我看了一下flink-client和flink-yarn包,感觉是可以做到的,但又有点儿无从入手的感觉,请问flink可以做到吗,具体调用哪个类呢? *来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

flink on native k8s application模式作业启动慢问题

同一个作业,在请求资源相同的情况下,使用flink on native k8s session mode和application mode启动时间相差十几倍。 在session mode下提交作业,最多需要2分钟。而在application mode下提交作业,少则10分钟,多则半个小时至一个小时。 1. 想问一下作业启动速度跟什么有关? 2. 要怎么提高作业启动速度呢?*来自志愿者整理的fli....

问答 2021-12-07 来自:开发者社区

flink on yarn 的application模式怎么提交多个job组成应用程序呢?

1.flink on yarn 的application模式怎么提交多个job组成应用程序呢?在官网和论坛的文章中这里没有详细展开。 与per-job 模式相比,Application 模式允许提交由多个Job组成的应用程序。Job执行的顺序不受部署模式的影响,但受启动Job的调用的影响。使用阻塞的 execute()方法,将是一个顺序执行的效果,结果就是"下一个"Job的执行被推迟到“该”J.....

问答 2021-12-07 来自:开发者社区

flink on yarn 模式 日志问题

程序中设置了检查点,env.enableCheckpointing(5000); 日志中就不断的有日志,时间长了日志就会越来越大,在yarn控台 看job日志,会越来越大,根本就不能看了 1.请问检查点日志打印可以关闭吗?或者有其他方式看吗? 2.请问在这种模式下,如何去找日志文件存放文件路径,目前找不到,是不是在hdfs中 3.请问flink任务中大家是怎么打印日志的?假设slf4j+logb....

问答 2021-12-07 来自:开发者社区

flink ha模式进程hang!!!

各位朋友大家好,我是flink初学者,部署flink ha的过程中出现一些问题,麻烦大家帮忙看下; 启动flink ha后,jobmanager进程直接hang,使用的flink 1.7.2版本,下面log中有一处出现此错误 File does not exist: /flink/ha/zookeeper/submittedJobGraphb05001535f91 ,让我不解的是我的checkp....

问答 2021-12-06 来自:开发者社区

Flink1.9 yarn session模式 经常Ask timed out怎么办?

> 您好, > > Flink1.9 yarn session模式  经常Ask timed out > > > 在执行flink list shell命令的时候连接不上 报 > akka.pattern.AskTimeoutException: Ask timed out on > [Actor[akka://flink/user/dis...

问答 2021-12-06 来自:开发者社区

flink sql upsert模式写入mysql,es等key一定是groupby之后所有字段吗?

flink sql upsert模式写入mysql,es等key一定是groupby之后所有字段吗? 举个例子比如我想要 insert into mysql_sink select      ID,      amount,      ………  from source ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注