部署apache spark集群的相关内容

阿里云文档 2025-01-16

Spark作业使用Celeborn作为RSS

Apache Celeborn是一个专门用于处理大数据计算引擎中间数据（如Shuffle数据和溢写数据）的服务，能够提升大数据引擎的性能、稳定性和灵活性。Remote Shuffle Service（RSS）用于高效处理大规模数据集的Shuffle过程。本文介绍如何在ACK集群中部署Celeborn组件，并在Spark作业中使用Celeborn作为Remote Shuffle Service（RS...

阿里云文档 2024-12-02

使用日志服务收集Spark作业日志

在ACK集群中运行Spark作业时会生成大量的日志分散在不同的Pods中，导致日志管理变得困难。您可以通过日志服务（SLS）提供的一站式的日志采集、加工、查询与分析、可视化和告警等能力，实现对Spark日志的高效管理。本文将介绍如何使用日志服务（SLS）对运行在ACK集群中的Spark作业日志进行管理。

阿里云文档 2024-10-18

使用ECI弹性资源运行Spark作业

本文介绍如何在ACK集群中使用弹性容器实例ECI运行Spark作业。通过使用ECI弹性资源并配置合适的调度策略，您可以按需创建ECI Pod，并按资源使用量按需付费，从而有效减少资源闲置带来的成本浪费，进而更加经济高效地运行Spark作业。

阿里云文档 2024-09-23

使用ECI运行Spark作业

在Kubernetes集群中使用ECI来运行Spark作业具有弹性伸缩、自动化部署、高可用性等优势，可以提高Spark作业的运行效率和稳定性。本文介绍如何在ACK Serverless集群中安装Spark Operator，使用ECI来运行Spark作业。

问答 2024-06-09 来自：开发者社区

在ECS部署的airflow如何将spark作业提交到E-MapReduce集群上

阿里云文档 2023-09-14

在EMR集群上使用Spark3将Tablestore中一张表的数据复制到另一张表_表格存储(Tablestore)

本文介绍如何在开源大数据平台 EMR（E-MapReduce）集群上，使用Spark3将表格存储中一张表的数据复制到另一张表中，全程使用SQL语句实现表的创建以及数据的复制操作。

文章 2022-08-16 来自：开发者社区

部署Spark2.2集群(on Yarn模式)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos机器规划本次实战用到了三台CentOS7的机器，身份信息如下所示：IP地址hostname(主机名)身份192.168.119.163node0NameNode、ResourceManager、HistoryServer、Master192.168.119....

文章 2022-08-08 来自：开发者社区

部署spark2.2集群(standalone模式)

一起来实战部署spark2.2集群(standalone模式)版本信息操作系统 CentOS 7.5.1804JDK：1.8.0_191scala：2.12.8spark：2.3.2机器信息本次实战用到了三台机器，相关信息如下：IP 地址主机名身份192.168.150.130masterspark的master节点192.168.150.131slave1spark的一号工作节点192.168....