阿里云文档 2025-01-16

Spark作业使用Celeborn作为RSS

Apache Celeborn是一个专门用于处理大数据计算引擎中间数据(如Shuffle数据和溢写数据)的服务,能够提升大数据引擎的性能、稳定性和灵活性。Remote Shuffle Service(RSS)用于高效处理大规模数据集的Shuffle过程。本文介绍如何在ACK集群中部署Celeborn组件,并在Spark作业中使用Celeborn作为Remote Shuffle Service(RS...

阿里云文档 2024-12-02

使用日志服务收集Spark作业日志

在ACK集群中运行Spark作业时会生成大量的日志分散在不同的Pods中,导致日志管理变得困难。您可以通过日志服务(SLS)提供的一站式的日志采集、加工、查询与分析、可视化和告警等能力,实现对Spark日志的高效管理。本文将介绍如何使用日志服务(SLS)对运行在ACK集群中的Spark作业日志进行管理。

阿里云文档 2024-10-18

使用ECI弹性资源运行Spark作业

本文介绍如何在ACK集群中使用弹性容器实例ECI运行Spark作业。通过使用ECI弹性资源并配置合适的调度策略,您可以按需创建ECI Pod,并按资源使用量按需付费,从而有效减少资源闲置带来的成本浪费,进而更加经济高效地运行Spark作业。

文章 2024-10-14 来自:开发者社区

大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)

点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume&...

大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
文章 2024-10-14 来自:开发者社区

大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)

接上篇:https://developer.aliyun.com/article/1622574?spm=a2c6h.13148508.setting.28.27ab4f0ehhuqRuselect相关列的多种表示selectselectExpr启动 Spark-Shell 继续进行测试// 这里注意 option("header", "true&#...

大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
阿里云文档 2024-09-23

使用ECI运行Spark作业

在Kubernetes集群中使用ECI来运行Spark作业具有弹性伸缩、自动化部署、高可用性等优势,可以提高Spark作业的运行效率和稳定性。本文介绍如何在ACK Serverless集群中安装Spark Operator,使用ECI来运行Spark作业。

文章 2024-06-21 来自:开发者社区

Spark-集群安装、部署、启动、测试(1.6.3)稳定版

Spark-集群安装、部署、启动、测试(1.6.3版) 一、下载地址: http://spark.apache.org/releases/spark-release-1-6-3.html 二、安装 将...

Spark-集群安装、部署、启动、测试(1.6.3)稳定版
文章 2023-10-07 来自:开发者社区

Spark on Yarn集群模式搭建及测试

1.Spark on Yarn集群模式介绍Apache Spark是一个快速的、通用的大数据处理框架,它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建Spark on Yarn集群模式环境,步骤详细,代码量大,准备发车~2.搭建环境准备本次用到的环境有:Java 1.8.0_191Spark-2.2....

Spark on Yarn集群模式搭建及测试
阿里云文档 2023-09-14

在EMR集群上使用Spark3将Tablestore中一张表的数据复制到另一张表_表格存储(Tablestore)

本文介绍如何在开源大数据平台 EMR(E-MapReduce)集群上,使用Spark3将表格存储中一张表的数据复制到另一张表中,全程使用SQL语句实现表的创建以及数据的复制操作。

文章 2022-06-13 来自:开发者社区

六十二、Spark-Standlone独立集群(上传HDFS进行测试)

环境配置主机名masterslave1slave2类型masterslaveslave角色masterworkerworker一、解压更名        1、解压Scalatar -zxvf scala-2.11.8.tgz -C /usr/local/        2、重命名mv scala-2.11.8 sca....

六十二、Spark-Standlone独立集群(上传HDFS进行测试)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注