容器服务Kubernetes版 Spark 的相关内容

文章 2023-01-14 来自：开发者社区

Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载

在开始之前我们需要知道什么是KubernetesKubernetes（通常写成“k8s”）是最开始由google设计开发最后贡献给Cloud Native Computing Foundation的开源容器集群管理项目。它的设计目标是在主机集群之间提供一个能够自动化部署、可拓展、应用容器可运营的平台。Kubernetes通常结合docker容器工具工作，并且整合多个运行着docker容器的主机集....

文章 2023-01-11 来自：开发者社区

《从Spark到Kubernetes MaxCompute 的云原生开源生态实践之路》电子版地址

《从Spark到Kubernetes MaxCompute 的云原生开源生态实践之路》从Spark到Kubernetes MaxCompute 的云原生开源生态实践之路电子版下载地址： https://developer.aliyun.com/ebook/3275 电子书： </div>

问答 2022-11-09 来自：开发者社区

spark on k8s，有使用without-hadoop版本的吗？

文章 2022-10-28 来自：开发者社区

Spark on k8s 在阿里云 EMR 的优化实践

导读：随着大数据技术的发展，Spark 成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中，Spark on YARN 成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是 Spark3.1 版本下该模式的正式可用（GA），Spark on K8s 已成燎原之势。今天的介绍会围绕下面两点展开：Spark on K8s 的基础概念和特性Spark on K8s 在阿里云....

文章 2022-10-09 来自：开发者社区

SPARK k8s backend中Executor Rolling(Executor的自动化滚动驱逐)

背景本文基于SPARK 3.3.0在Spark 3.3.0中出现了一个新特性那就是自动重启Executor，这个主要解决是什么问题呢？主要解决在Streaming中由于一个Executor的处理延迟导致整个Streaming任务延迟，但是这也是适用于批任务，使得批任务Executor的驱逐更加灵活。具体的可参考SPARK-37810分析在spark 3.3.0之前，如果发现任务是比较慢或者任务....

文章 2022-05-29 来自：开发者社区

spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理

我们知道目前在spark on k8s的官网中，这里有两项很明显的future work。动态资源分配和外部的shuffle serivce任务队列以及资源管理也就是说，目前这两项spark还是不支持的，借助于广大社区的力量，各个大厂都提出了自己的开源方案外部的shuffle service通过RSS（remote shuffle service）来解决关于RSS可以参考spark remote....

文章 2022-05-29 来自：开发者社区

spark on k8s 镜像构建

spark on k8s 基础镜像的构建背景这是跑spark on k8s任务的基础镜像，用来指明executor pod的基础镜像构建步骤git clone spark特定的版本（加入是3.0.1版本），克隆完后，执行一下命令进行构建,构建出包含kubernetes模块的可运行包： ## spark 3.x兼容hadoop cdh版本，处理冲突 git cherry-pick 8e8afb3a....

文章 2022-05-28 来自：开发者社区

【k8s系列2】spark on k8s(kubernetes) DynamicResourceAllocation(DRA)

随着大数据时代的到来，以及kubernetes的愈发火热，好多公司已经把spark应用从yarn迁移到k8s，当然也踩了不少的坑，现在我们来分析一下spark on k8s的DynamicResourceAllocation这个坑 spark on yarn 中的DynamicResourceAllocationspark on yarn对于DynamicResourceAlloca...

文章 2022-05-28 来自：开发者社区

【k8s系列1】spark on k8s 与 spark on k8s operator的对比

对于目前基于k8s的的spark应用，主要采用两种方式运行spark原生支持的 spark on k8s基于k8s的operator的 spark on k8s operator前者是spark社区支持k8s这种资源管理框架而引入的k8s client的实现后者是k8s社区为了支持spark而开发的一种operatorcode 1 --- bin/spark-submit \ --ma...