文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控

问题一:flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,这是不是会导致内存浪费? flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,并物理的大小不变,这是不是会导致内存浪费?它是会改变所有的subtask的buffer大小吗?还是只有某个subtask? 参考答案: Flink 1.14的网络缓存消胀机...

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控
问答 2024-06-13 来自:开发者社区

E-MapReduce管控中的集群监控界面看到YARN-HOME监控的Yarn Memory参...

E-MapReduce管控中的集群监控界面看到YARN-HOME监控的Yarn Memory参数是如何计算的

Hadoop 分布式资源管理框架 YARN

5 课时 |
494 人已学 |
免费
开发者课程背景图
问答 2024-01-04 来自:开发者社区

请教一下,flink on yarn模式下,怎么对job作业进行指标监控?

请教一下,flink on yarn模式下,怎么对job作业进行指标监控?job整理时延,吞吐量等性能指标想拿jmx看

文章 2023-12-15 来自:开发者社区

在Flink on Yarn中,确实可以使用Prometheus的Pushgateway来获取监控指标

在Flink on Yarn中,确实可以使用Prometheus的Pushgateway来获取监控指标。关于您提到的过期数据问题,Pushgateway本身不会自动清除旧的指标数据。如果作业重新启动后,之前的监控指标仍留在Pushgateway中,这可能是因为重启后的作业仍然使用相同的Job ID,导致新的指标数据与旧的指标数...

问答 2023-12-03 来自:开发者社区

请教下,flink on yarn中有用pushgateway获取监控指标的吗?

请教下,flink on yarn中有用pushgateway获取监控指标的吗?pushgateway中的过期数据是怎么处理的呢?作业重新启动之后,之前启动的监控指标还在pushgateway中,不能自动清除

问答 2023-04-03 来自:开发者社区

flink on yarn的任务监控一般是怎样做的呢?

flink on yarn的任务监控一般是怎样做的呢?

问答 2023-02-27 来自:开发者社区

通过yarn application模式提交任务,你们都是用什么工具监控flink?

通过yarn application模式提交任务,你们都是用什么工具监控flink?

问答 2023-02-27 来自:开发者社区

flink yarn application模式提交,你们都用什么监控flink任务?

flink yarn application模式提交,你们都用什么监控flink任务?

问答 2022-09-17 来自:开发者社区

我的yarn集群总是显示不了日志和跳转不到对应的flink或者spark监控页面,这是哪儿配置的呢

就是一个flink任务提交到yarn上了,点击这个tracking ui跳转不到对应的web页面

问答 2021-12-02 来自:开发者社区

请教on yarn per job 作业如何采集日志进行监控方案

原本作业基本处于半裸奔的状态,最近线上出了一次小事故后,在考虑如何实时采集作业日志或者metric再配置告警。 网上初步搜了一下,好像就是prometheus+grafana或者elk。 请教各位大佬的项目目前都是用什么方式,我们小公司就我一个人搞flink,半路出家水平也有限,请大佬们推荐个易维护坑少点的方式?谢谢。*来自志愿者整理的flink邮件归档

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里巴巴终端技术

阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。

+关注