问答 2021-12-08 来自:开发者社区

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的....

问答 2021-12-08 来自:开发者社区

用户提交的Flink Job会被转化成一个DAG任务运行,分别是什么呢?

用户提交的Flink Job会被转化成一个DAG任务运行,分别是什么呢?

问答 2021-12-08 来自:开发者社区

Flink任务延迟高,要怎样解决这个问题呢?

Flink任务延迟高,要怎样解决这个问题呢?

问答 2021-12-08 来自:开发者社区

Flink任务延迟高,想解决这个问题,你会如何入手?

Flink任务延迟高,想解决这个问题,你会如何入手?

问答 2021-12-08 来自:开发者社区

构建Flink任务提交平台时兼容低版本Flink的问题

请问各位大佬,目前我用Flink 1.11的内部API实现了Flink任务提交的平台,但是由于1.11相对1.10大改了客户端的实现方案,导致低版本的Flink应用难以适配,请问大家有没有在构建平台时有兼容多版本Flink任务的好方案,并且能够方便快速升级迭代支持新的Flink版本,我现在想到的就是用命令行去做。*来自志愿者整理的flink邮件归档

问答 2021-12-08 来自:开发者社区

Flink 1.11.2版本 实时任务运行 报错

大家好,咨询一个问题,我们有个实时任务运行在Flink1.11.2版本,使用rocksdbstatebackend,最近报警出现了物理内存超限被kill的异常信息,我们查看了监控taskmanager heap使用量没有超限,direct内存使用量也维持在一个平稳的范围内没有超限,也没有报oom,这种情况是非堆内存异常是吗?完整报错信息如下: Dump of the process-tree .....

问答 2021-12-08 来自:开发者社区

Flink 1.10 on yarn提交任务报错

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar java.lang.Exception: unable to establish the security context at org.apache.flink.runtime.security.SecurityUt.....

问答 2021-12-08 来自:开发者社区

Flink1.9批任务yn和ys对任务的影响

跑tpcds的query1: flink run -m yarn-cluster -d -p 100 -yn 20 -ys 5 -yjm 60g -ytm 30g 任务可以正常执行 flink run -m yarn-cluster -d -p 100 -yn 10 -ys 10 -yjm 60g -ytm 30g 任务在做hashjoin的时候就会失败 报错是No pooled slot av....

问答 2021-12-08 来自:开发者社区

Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题探讨

如题,Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题 尝试手段: 手动迁移IO比较高的任务到其他机器,但是yarn任务提交比较随机,只能偶尔为之 目前没有SSD,只能用普通STATA盘,目前加了两块盘提示磁盘IO能力,但是单盘对单任务的磁盘IO瓶颈还在 还有哪些策略可以解决或者缓解么?*来自志愿者整理的flink邮件归档

问答 2021-12-08 来自:开发者社区

flink启动任务时异常,加载不到flink/lib目录下的包

环境: flink 1.12.0 报这个错:报加载不到这个log4j-slf4j-impl-2.12.1.jar包,但是我的lib目录下是有这个包的: $ cd lib/ $ ll -rw-r--r-- 1 yujianbo yujianbo 91554 1月 26 18:44 flink-csv-1.12.0.jar -rw-r--r-- 1 yujianbo yujianbo 1141198....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注