文章 2024-07-30 来自:开发者社区

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行

问题一:不会操作,购买云服务 不会操作,购买云服务 参考回答: 一图教您如何购买云服务器ECShttps://help.aliyun.com/zh/ecs/user-guide/a-picture-is-to-teach-you-how-to-buy-cloud-server-ecs?spm=a2c4g.11186623.0.i11 ...

云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在使用Flink on yarn模式进行内存资源调优时,如何进行优化

问题一:flink的applcation model模式和sql client可以一起用吗 flink的applcation model模式和sql client可以一起用吗,如何使用呢,如果不能使用,生产环境pre-job和session模式哪个模式会更好 参考答案: Apache Flink 支持多种部署模式,包括 Application Mode...

实时计算 Flink版产品使用问题之在使用Flink on yarn模式进行内存资源调优时,如何进行优化
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控

问题一:flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,这是不是会导致内存浪费? flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,并物理的大小不变,这是不是会导致内存浪费?它是会改变所有的subtask的buffer大小吗?还是只有某个subtask? 参考答案: Flink 1.14的网络缓存消胀机...

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之yarn session模式中启动的任务链接是http IP,想把IP映射为主机hadoop,该怎么操作

问题一:我使用flink on yarn启动了一个任务模式 怎么看这个会话的资源被当前任务占用了多少? 我使用flink on yarn启动了一个任务 yarn session模式 怎么看这个会话的资源被当前任务占用了多少? 参考答案: 应该看不了 , 关于本问题的更多回答可点击进行查看: https://devel...

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之部署yarn模式,怎么实现峰谷动态并行度扩容缩容

问题一:filnk-operator 不用强制在服务器上在搞一个jdk11 版本吧? filnk-operator 不用强制在服务器上在搞一个jdk11 版本吧。 我现在用k8s 上安装了operator1.6 版本,我的flink 任务也正常跑起来了啊。 有大佬知道吗?, 还是说 代码里面调 flink-operator-api的时候需要使用jdk11 参考...

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之使用yarn-session的模式来提交任务,空间的资源是否释放给yarn

问题一:Flink CDC UI上红色部分Busy 100%是正常的吗? Flink CDC UI上红色部分Busy 100%是正常的吗? 参考答案: 不正常,你需要看下什么导致的busy ...

实时计算 Flink版产品使用合集之使用yarn-session的模式来提交任务,空间的资源是否释放给yarn
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理

问题一:Flink CDC这个是干啥用的啊? Flink CDC这个是干啥用的啊?org/apache/flink/shaded/guava31/com/google/common/util/concurrent/ThreadFactoryBuilder 参考答案: java工具包 关于本问题的更多回答可点击进行查看: ...

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理
文章 2024-05-18 来自:开发者社区

实时计算 Flink版产品使用合集之Flink on YARN 下,任务代码中通过 JobListener 监听任务状态,onJobSubmitted 和 onJobExecuted 同时触发如何解决

问题一:Flink这个问题怎么解决? Flink这个问题怎么解决?Flink on yarn,任务代码里想通过jobListener监听任务状态,onJobSubmitted 和onJobExecuted同时触发,回调没生效。 参考回答: 抱歉哈,云上没有on yarn的环境,您应该是开源自建,请参考群公告进社区群。 关于本问题的更多...

实时计算 Flink版产品使用合集之Flink on YARN 下,任务代码中通过 JobListener 监听任务状态,onJobSubmitted 和 onJobExecuted 同时触发如何解决
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的

问题一:yarn上不能部署两个不同版本的flink客户端吗? yarn上不能部署两个不同版本的flink客户端吗? 这个状态一直这样 参考回答: YARN上确实不能同时部署两个不同版本的Fl...

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的
文章 2024-05-16 来自:开发者社区

实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决

问题一:求问大家 ,flinksql 在idea调试都没问题 窗口触发都能出结果 ,部署到集群上就没反应了? 求问大家 ,flinksql 在idea调试都没问题 窗口触发都能出结果 ,部署到集群上就没反应了, 查看日志有数据数据读取到 就发不出去发kafka 。 就算使用无窗口sql select* 也发不出去数据 。版本是1.16 有没有人遇到类问题 。 ...

实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里巴巴终端技术

阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。

+关注