容器服务Kubernetes版spark 的相关内容

文章 2025-03-13 来自：开发者社区

打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度

【阅读原文】戳：打破资源边界、告别资源浪费：ACK One多集群Spark和AI作业调度概述在云原生时代，随着业务的发展（如业务遍布全球、已达单一集群承载上限）、容灾需求的迫切、安全合规的要求等原因，越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

阿里云文档 2025-03-13

Spark作业的多集群调度与分发

Apache Spark是一种专门用于大规模数据处理的计算引擎，广泛应用于数据分析和机器学习等场景。本文介绍如何通过ACK One舰队将Spark作业在多集群中进行调度和分发运行，帮助您提升多集群中空闲资源利用率。

阿里云文档 2025-03-13

如果您已经拥有多个正在运行在线服务的ACK集群，并希望在不影响这些服务的情况下，充分利用集群的空闲资源来运行Spark作业，您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件，根据各集群实际剩余资源（而非请求资源）来调度和分发多集群Spark作业，帮助您最大化多集群中闲置资源的利用效率，并通过优...

阿里云文档 2025-03-13

基于实际剩余资源的多集群Spark作业调度与分发

阿里云文档 2025-03-05

Spark作业使用Fluid加速数据访问

本文介绍如何使用Fluid加速数据访问，通过JindoRuntime优化OSS数据访问，从而提升数据密集型应用的性能。

阿里云文档 2025-02-26

为Spark作业配置动态资源分配

本文介绍在Spark中如何配置和使用动态资源分配（Dynamic Resource Allocation）功能，以最大化集群资源的利用效率，减少资源闲置，同时提升任务执行的灵活性和整体系统性能。

文章 2024-06-12 来自：开发者社区

大数据之spark on k8s

大数据之spark on k8s spark on k8s架构解析 1.k8s的优点 k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 1、故障迁移 2、资源调度 3、资源隔离 4、负载均衡 5、跨平台部署 2.k8s集群架构 ...

问答 2024-06-07 来自：开发者社区

EMR on ACK的spark组件是否支持编程访问日志服务和VPC内的Redis和MongoDB

文章 2024-05-14 来自：开发者社区

容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s

问题一：部署ingress，开启灰度后，mse网关没有注册路由，也无法访问ingress后段服务不开启灰度部署ingress，开启灰度后，mse网关没有注册路由，也无法访问ingress后段服务。不开启灰度，是可以访问的操作文档：参考https://help.aliyun.com/zh/mse/user-guide/use-mse-ingresses-t...

文章 2024-01-29 来自：开发者社区

spark on k8s native

前置环境官方参考：https://spark.apache.org/docs/3.2.2/running-on-kubernetes.html#pod-template 测试环境：Ubuntu 11.2.0 JDK 1.8.0_162 k8s server1.15需要搭载的client版本大概是4.6，而spark2.4.7才更新这个包版本 k8s server如果是最新的1.19以上的，需要s....