容器服务Kubernetes版 Spark 的相关内容

阿里云文档 2025-03-13

Spark作业的多集群调度与分发

Apache Spark是一种专门用于大规模数据处理的计算引擎，广泛应用于数据分析和机器学习等场景。本文介绍如何通过ACK One舰队将Spark作业在多集群中进行调度和分发运行，帮助您提升多集群中空闲资源利用率。

阿里云文档 2025-03-13

如果您已经拥有多个正在运行在线服务的ACK集群，并希望在不影响这些服务的情况下，充分利用集群的空闲资源来运行Spark作业，您可以利用ACK One舰队的多集群Spark作业调度和分发能力来提高资源利用率。本文将介绍如何通过ACK One舰队和ACK Koordinator组件，根据各集群实际剩余资源（而非请求资源）来调度和分发多集群Spark作业，帮助您最大化多集群中闲置资源的利用效率，并通过优...

阿里云文档 2025-03-13

基于实际剩余资源的多集群Spark作业调度与分发

阿里云文档 2025-03-05

Spark作业使用Fluid加速数据访问

本文介绍如何使用Fluid加速数据访问，通过JindoRuntime优化OSS数据访问，从而提升数据密集型应用的性能。

阿里云文档 2025-02-26

为Spark作业配置动态资源分配

本文介绍在Spark中如何配置和使用动态资源分配（Dynamic Resource Allocation）功能，以最大化集群资源的利用效率，减少资源闲置，同时提升任务执行的灵活性和整体系统性能。

文章 2024-01-29 来自：开发者社区

spark on k8s native

前置环境官方参考：https://spark.apache.org/docs/3.2.2/running-on-kubernetes.html#pod-template 测试环境：Ubuntu 11.2.0 JDK 1.8.0_162 k8s server1.15需要搭载的client版本大概是4.6，而spark2.4.7才更新这个包版本 k8s server如果是最新的1.19以上的，需要s....

问答 2023-11-12 来自：开发者社区

容器服务ASK我这边准备把spark 跑在k8s，但是没看到好的文档。有这方面的资料吗？

容器服务ASK我这边准备把spark 跑在k8s，但是没看到好的文档。大佬有这方面的资料吗？

文章 2023-11-10 来自：开发者社区

Hago 的 Spark on ACK 实践

作者：华相Hago 于 2018 年 4 月上线，是欢聚集团旗下的一款多人互动社交明星产品。Hago 融合优质的匹配能力和多样化的垂类场景，提供互动游戏、多人语音、视频直播、 3D 虚拟形象互动等多种社交玩法，致力于为用户打造高效、多样、最具沉浸式的社交娱乐体验，在东南亚、中东和南美等地区拥有广泛的用户群。在技术层面，Hago 提供优秀的自研音视频技术，实现更加稳定、高效和优质的数字人服务。包括....