阿里云文档 2025-04-11

基于实际剩余资源的多集群Spark作业调度与分发

如果您已经拥有多个正在运行在线服务的ACK集群,并希望在不影响这些服务的情况下,充分利用集群的空闲资源来运行Spark作业,您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件,根据各集群实际剩余资源(而非请求资源)来调度和分发多集群Spark作业,帮助您最大化多集群中闲置资源的利用效率,并通过优...

阿里云文档 2025-04-01

基于实际剩余资源的多集群Spark作业调度与分发

如果您已经拥有多个正在运行在线服务的ACK集群,并希望在不影响这些服务的情况下,充分利用集群的空闲资源来运行Spark作业,您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件,根据各集群实际剩余资源(而非请求资源)来调度和分发多集群Spark作业,帮助您最大化多集群中闲置资源的利用效率,并通过优...

文章 2025-03-13 来自:开发者社区

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度

【阅读原文】戳:打破资源边界、告别资源浪费:ACK One多集群Spark和AI作业调度   概述       在云原生时代,随着业务的发展(如业务遍布全球、已达单一集群承载上限)、容灾需求的迫切、安全合规的要求等原因,越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
阿里云文档 2025-03-13

Spark作业的多集群调度与分发

Apache Spark是一种专门用于大规模数据处理的计算引擎,广泛应用于数据分析和机器学习等场景。本文介绍如何通过ACK One舰队将Spark作业在多集群中进行调度和分发运行,帮助您提升多集群中空闲资源利用率。

阿里云文档 2025-03-05

Spark作业使用Fluid加速数据访问

本文介绍如何使用Fluid加速数据访问,通过JindoRuntime优化OSS数据访问,从而提升数据密集型应用的性能。

阿里云文档 2025-02-26

为Spark作业配置动态资源分配

本文介绍在Spark中如何配置和使用动态资源分配(Dynamic Resource Allocation)功能,以最大化集群资源的利用效率,减少资源闲置,同时提升任务执行的灵活性和整体系统性能。

问答 2024-08-05 来自:开发者社区

K8s的作业调度和启动时间为什么不适合高tps、短延时的任务?

K8s的作业调度和启动时间为什么不适合高tps、短延时的任务?

文章 2024-06-17 来自:开发者社区

实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因

问题一:Flink CDC 里 需要更改什么参数才可以正常采集呢? Flink CDC 里 需要更改什么参数才可以正常采集呢? 参考回答: 参考: https://github.com/apache/flink-cdc/pull/2315 关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/as...

实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之运行run-application --target kubernetes-application执行,通过进程的返回码来决定作业是否成功,任务返回码都是0,该怎么办

问题一:有个Flink问题咨询下,application模式需要怎么配置呢? 有个Flink问题咨询下,运行run-application --target kubernetes-application执行,想通过进程的返回码来决定作业是否成功,但是任务不论成功还是失败返回码都是0,session模式成功是0,失败是其他的,application模式需要怎么配置呢? ...

实时计算 Flink版产品使用问题之运行run-application --target kubernetes-application执行,通过进程的返回码来决定作业是否成功,任务返回码都是0,该怎么办
问答 2024-04-22 来自:开发者社区

我想把flink cdc作业,有没有例子把flink-k8s-operator启动到k8s里去?

Flink CDC里我想把cdc作业,用flink官方的flink-k8s-operator启动到k8s去,有没有例子啊?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注