不通过web界面的方式,flink on yarn怎么查看每个并行度处理数据的情况?

不通过web界面的方式,flink on yarn怎么查看每个并行度处理数据的情况,比如有几个并行度正在被使用,每个并行度处理多少数据等等?

flinkcdc面对500g的数据 flink on yarn的部署模式 tm分配多少合适哇?

flinkcdc面对500g的数据 flink on yarn的部署模式 tm分配多少合适哇?

Hadoop 分布式资源管理框架 YARN

5 课时 |
438 人已学 |
免费
开发者课程背景图

Flink CDC里集群偶发性的报这个错误,对数据有影响吗?

Flink CDC里集群偶发性的报这个错误,对数据有影响吗?这是什么错误,我们用的yarn,遇到这个错误,任务自动重启,容器就换了。

想咨询一个Flink CDC问题,flink on yarn的情况下 我设置获取数据是从2天之前数?

想咨询一个Flink CDC问题,flink on yarn的情况下 我设置获取数据是从2天之前数据开始,如果我flink断开重启的话,他开始的时间节点是从自动重启的前2天开始,还是从我部署的时间的前2天开始?

Flink CDC 任务都不见了还能重启吗?我这在yarn看不到任务了?100张表大概5亿条数据,怎

Flink CDC 任务都不见了还能重启吗?我这在yarn看不到任务了?100张表大概5亿条数据,怎么加快全量阶段读取速度,我这大概要1个小时,然后就莫名其妙的失败了?

flink on k8s 报错读不出kafka数据来,on yarn没问题 有大佬知道这什么报错吗?

flink on k8s 报错读不出kafka数据来,on yarn没问题 有大佬知道这什么报错吗?

有大佬遇到过oracle-cdc 10G(版本)跑一段时间就消费不到数据吗??任务一直再yarn上运

有大佬遇到过oracle-cdc 10G(版本)跑一段时间就消费不到数据吗??任务一直再yarn上运行着也没有报错。

有谁做过tidb-cdc的?请问任务提交到yarn集群上运行。但是一段时间后,cdc数据,新增修改删

有谁做过tidb-cdc的?请问任务提交到yarn集群上运行。但是一段时间后,cdc数据,新增修改删除都不会再触发了。也没有看到明显的报错日志。谁碰过过相似的情况,是由什么属性触发的?还是什么其他原因

写了一个Flink的程序消费kafka数据;现在要提交到yarn集群上运行;是不是得开通 yarn

写了一个Flink的程序消费kafka数据;现在要提交到yarn集群上运行;是不是得开通 yarn 里面 NodeManager 到 kafka集群的9092 端口才行,还是本地提交flink任务的机器能访问 kafka 9092就行?

yarn-session模式通过python api消费kafka数据报错

[root@hdp02 bin]# ./flink run -yid application_1575352295616_0014 -py /opt/tumble_window.py 2019-12-06 14:15:48,262 INFO org.apache.flink.yarn.cli.Fli...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里巴巴终端技术
阿里巴巴终端技术
阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。
1506+人已加入
加入
相关电子书
更多
基于Docker on Yarn系统的微服务实践
深度学习+大数据 TensorFlow on Yarn
Docker on Yarn 微服务实践
立即下载 立即下载 立即下载

Yarn数据相关内容