阿里云文档 2025-01-16

Spark作业使用Celeborn作为RSS

Apache Celeborn是一个专门用于处理大数据计算引擎中间数据(如Shuffle数据和溢写数据)的服务,能够提升大数据引擎的性能、稳定性和灵活性。Remote Shuffle Service(RSS)用于高效处理大规模数据集的Shuffle过程。本文介绍如何在ACK集群中部署Celeborn组件,并在Spark作业中使用Celeborn作为Remote Shuffle Service(RS...

阿里云文档 2024-12-02

使用日志服务收集Spark作业日志

在ACK集群中运行Spark作业时会生成大量的日志分散在不同的Pods中,导致日志管理变得困难。您可以通过日志服务(SLS)提供的一站式的日志采集、加工、查询与分析、可视化和告警等能力,实现对Spark日志的高效管理。本文将介绍如何使用日志服务(SLS)对运行在ACK集群中的Spark作业日志进行管理。

阿里云文档 2024-10-18

使用ECI弹性资源运行Spark作业

本文介绍如何在ACK集群中使用弹性容器实例ECI运行Spark作业。通过使用ECI弹性资源并配置合适的调度策略,您可以按需创建ECI Pod,并按资源使用量按需付费,从而有效减少资源闲置带来的成本浪费,进而更加经济高效地运行Spark作业。

阿里云文档 2024-09-23

使用ECI运行Spark作业

在Kubernetes集群中使用ECI来运行Spark作业具有弹性伸缩、自动化部署、高可用性等优势,可以提高Spark作业的运行效率和稳定性。本文介绍如何在ACK Serverless集群中安装Spark Operator,使用ECI来运行Spark作业。

阿里云文档 2023-09-14

在EMR集群上使用Spark3将Tablestore中一张表的数据复制到另一张表_表格存储(Tablestore)

本文介绍如何在开源大数据平台 EMR(E-MapReduce)集群上,使用Spark3将表格存储中一张表的数据复制到另一张表中,全程使用SQL语句实现表的创建以及数据的复制操作。

文章 2023-05-30 来自:开发者社区

Spark集群环境搭建(standalone模式)

1. 实验室名称:大数据实验教学系统2. 实验项目名称:Spark集群环境搭建(standalone模式)3. 实验学时:4. 实验原理:spark有以下几种运行模式,每种运行模式都有自己不同的优点和长处。nameValue• local(本地模式)常用于本地开发测试,本地还分为local单线程和local-cluster多线程;• standalone(集群模式)典型的Mater/slave模....

Spark集群环境搭建(standalone模式)
文章 2022-05-17 来自:开发者社区

Spark从入门到入土(一):集群环境搭建(下)

slaves配置(三台一样)vi /opt/middleware/spark-2.1.0-bin-hadoop2.7/conf/slaves内容如下slave1 slave2 slave36、启动#在master上执行 /opt/middleware/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh7、页面访问http://172.*.*.6:8080/sp....

Spark从入门到入土(一):集群环境搭建(下)
文章 2022-05-17 来自:开发者社区

Spark从入门到入土(一):集群环境搭建(上)

Spark可以不依赖Hadoop运行。如果运行的结果(包括中间结果)不需要存储到HDFS,并且集群管理器不采用YARN的情况下是可以不依赖hadoop的。版本规划项目版本号hadoop2.7.7spark2.1.0scala2.11.8zk3.4.13java1.8.0kafka2.12-2.1.0mongoDB4.2.0-rc2kafka及mongoDB在后续章节中会使用到,这里先列出版本号涉....

文章 2017-11-22 来自:开发者社区

spark 入门及集群环境搭建

软件环境: VMware workstation 11.0 linux :CentOS 6.7 hadoop-2.7.3 jdk-1.0.7_67 spark-2.1.0-bin-hadoop2.7/ 安装虚拟机和jdk就不再此赘述。 直接讲解安装hadoop和spark的安装。 一。下载hadoop源码包。点击此处下载: http://hadoop.apache.org/  ...

文章 2016-04-01 来自:开发者社区

spark1.6分布式集群环境搭建

1. 概述 本文是对spark1.6.0分布式集群的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。   2. 安装环境 本安装说明的示例环境部署如下: IP 外网IP hostname 备注 10.47.110.38 120.27.153.137 iZ237654q6qZ Master、Slaver 10.24.35.51 11...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注