AI 助理
文档备案控制台
阿里云文档 2026-01-13

通过ListCatalogs API查询数据目录列表-开源大数据平台 E-MapReduce-阿里云

查看数据目录列表

阿里云文档 2025-10-24

本文介绍了使用VS Code、通义灵码和spark-submit工具自动生成PySpark任务代码并提交至EMR Serverless Spark的全流程方法，显著简化了开发与执行复杂度。

通过VS Code、通义灵码以及Serverless Spark提供的spark-submit工具，用户能够快速生成Spark任务代码并将其提交至Serverless Spark进行执行。本文将为您详细介绍如何使用上述工具提交Serverless Spark任务。

阿里云文档 2025-10-16

Serverless Spark 提供多种内置函数，包括兼容开源函数和特有函数，用于高效处理数据，如 PARQUET_SCHEMA、PARQUET_METADATA、URL_DECODE 等，支持复杂数据操作与解析。

Serverless Spark 内置了多种函数，能够满足大部分数据处理需求。本文将为您介绍 Serverless Spark 内置提供的函数及其使用说明。

阿里云文档 2025-09-19

2025年9月17日发布的EMR Serverless Spark版本新增密文管理、Python运行环境配置、Kyuubi Gateway多实例支持及引擎性能优化等功能，提升安全性和任务效率。

本文为您介绍2025年09月17日发布的EMR Serverless Spark的功能变更。

阿里云文档 2025-09-19

密文管理通过加密存储和动态引用敏感信息，提升云环境中数据安全与维护效率。

在数据开发与任务执行过程中，明文存储AccessKey或密码等信息容易引发安全风险。通过密文管理功能，您可以将敏感信息进行加密存储，并在数据开发及会话配置中进行动态引用，从而避免代码泄露风险，提升敏感信息的维护效率。

文章 2025-06-18 来自：开发者社区

一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进

一.背景介绍 一体系汽配供应链平台（以下简称一体系），专注提供高品质发动机、变速箱、底盘技术零部件，融汇优质实体资源和创新互联网科技，为上游品牌商提供高效的下沉渠道，为下游零售商带来可信赖的产品和服务，让采购更便捷可靠，实现行业数字化转型。 随着企业对实时数据分析、AI 能力和大规模数据处理的需求不断增长，平台数据量庞大且持续增长、数据呈现半结构化...

一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
文章 2024-10-16 来自：开发者社区

大数据平台的毕业设计02：Spark与实时计算

Spark、Kafka - 实时计算 现在提到实时计算，可能大家首先会想到flink。的确，flink在开源实时领域方面绝对算是TOP了。18年的时候，实时处理还是SparkStreaming应用的比较广泛。所以当时我安装的是Spark集群，来模拟的实时计算。 其实Spark/flink集群都是可以不搭建的，在Spark集群上运行程序属于standlone模式，如果使用yarn模...

大数据平台的毕业设计02：Spark与实时计算
文章 2024-07-04 来自：开发者社区

大数据平台之Spark

Apache Spark 是一个开源的分布式计算系统，主要用于大规模数据处理和分析。它由UC Berkeley AMPLab开发，并由Apache Software Foundation维护。Spark旨在提供比Hadoop MapReduce更快的处理速度和更丰富的功能，特别是在处理迭代算法和交互式数据分析方面。以下是Spark的详细介绍： 核心概念 Resilient Dis...

文章 2023-07-12 来自：开发者社区

大数据平台搭建（容器环境）——Spark3.X on Yarn安装配置

Spark3.X on Yarn安装配置 一、解压 1. 将Spark包解压到路径/opt/module路径中 tar -zxvf /opt/software/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/module/ 2. 改名（可不做） mv spark-3.1.1-bin-hadoop3.2/ spark-3.1.1-yarn 二、配置 1....

大数据平台搭建（容器环境）——Spark3.X on Yarn安装配置
问答 2023-01-09 来自：开发者社区

开源大数据平台E-MapReduce从Spark导入数据至ClickHouse

开源大数据平台E-MapReduce从Spark导入数据至ClickHouse

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注