apache spark集群学习笔记的相关内容

阿里云文档 2025-01-16

Spark作业使用Celeborn作为RSS

Apache Celeborn是一个专门用于处理大数据计算引擎中间数据（如Shuffle数据和溢写数据）的服务，能够提升大数据引擎的性能、稳定性和灵活性。Remote Shuffle Service（RSS）用于高效处理大规模数据集的Shuffle过程。本文介绍如何在ACK集群中部署Celeborn组件，并在Spark作业中使用Celeborn作为Remote Shuffle Service（RS...

阿里云文档 2024-12-02

使用日志服务收集Spark作业日志

在ACK集群中运行Spark作业时会生成大量的日志分散在不同的Pods中，导致日志管理变得困难。您可以通过日志服务（SLS）提供的一站式的日志采集、加工、查询与分析、可视化和告警等能力，实现对Spark日志的高效管理。本文将介绍如何使用日志服务（SLS）对运行在ACK集群中的Spark作业日志进行管理。

阿里云文档 2024-10-18

使用ECI弹性资源运行Spark作业

本文介绍如何在ACK集群中使用弹性容器实例ECI运行Spark作业。通过使用ECI弹性资源并配置合适的调度策略，您可以按需创建ECI Pod，并按资源使用量按需付费，从而有效减少资源闲置带来的成本浪费，进而更加经济高效地运行Spark作业。

阿里云文档 2024-09-23

使用ECI运行Spark作业

在Kubernetes集群中使用ECI来运行Spark作业具有弹性伸缩、自动化部署、高可用性等优势，可以提高Spark作业的运行效率和稳定性。本文介绍如何在ACK Serverless集群中安装Spark Operator，使用ECI来运行Spark作业。

阿里云文档 2023-09-14

在EMR集群上使用Spark3将Tablestore中一张表的数据复制到另一张表_表格存储(Tablestore)

本文介绍如何在开源大数据平台 EMR（E-MapReduce）集群上，使用Spark3将表格存储中一张表的数据复制到另一张表中，全程使用SQL语句实现表的创建以及数据的复制操作。

文章 2022-11-23 来自：开发者社区

Spark 原理_总体介绍_集群环境 | 学习笔记

开发者学堂课程【大数据 Spark 2020版（知识精讲与实战演练）第三阶段：Spark 原理_总体介绍_集群环境】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/689/detail/12006Spark 原理_总体介绍_集群环境上一节小案例直接运行，如果将案例运行到生产环境下，案例需打包成架包提....

文章 2022-11-16 来自：开发者社区

Spark 集群搭建_Spark 集群结构_扩展|学习笔记

开发者学堂课程【大数据 Spark2020最新课程（知识精讲与实战演练）第一阶段：Spark 集群搭建_Spark 集群结构_扩展】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/688/detail/11938Spark 集群搭建_Spark集群结构_扩展spark 集群结构进行一个小小的扩展，准....

文章 2022-11-16 来自：开发者社区

Spark 集群搭建_高可用配置|学习笔记

开发者学堂课程【大数据 Spark2020最新课程（知识精讲与实战演练）第一阶段：Spark 集群搭建_高可用配置】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/688/detail/11942Spark 集群搭建_高可用配置具体了解步骤如下：（目标）简要了解如何使用 Zookeeper 帮助 S....

文章 2022-11-16 来自：开发者社区

Spark 集群搭建_分发和启动|学习笔记

开发者学堂课程【大数据 Spark2020最新课程（知识精讲与实战演练）第一阶段：Spark 集群搭建_分发和启动】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/688/detail/11941Spark 集群搭建_分发和启动spark 的安装包分发给不同的其他节点以后,去启动整个集群。步骤：第一....

文章 2022-11-16 来自：开发者社区

Spark 集群搭建_第一个案例|学习笔记

开发者学堂课程【大数据 Spark2020最新课程（知识精讲与实战演练）第一阶段：Spark 集群搭建_第一个案例】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/688/detail/11943Spark 集群搭建_第一个案例内容介绍：一、如何运行 spark 程序二、概述蒙特克罗算法一、运行 s....