spark云原生大数据计算服务 MaxCompute应用的相关内容

阿里云文档 2026-04-20

MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。

AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI 推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。

阿里云文档 2026-04-16

如何通过数据集成操作扩展点触发扩展程序校验的过程

在DataWorks开放平台中，成功注册、上线并启用扩展程序后，在该扩展程序所生效的工作空间中，使用页面部分功能（即触发扩展点事件）时，DataWorks会将事件消息发送至您的扩展程序，您可以查看扩展程序返回的结果。本文将为您介绍数据集成支持的扩展点事件，以及使用扩展点触发扩展程序校验的操作过程。

阿里云文档 2026-04-13

ECS应用角色

集群中实例上的应用程序进程在调用其他阿里云服务时，将使用ECS应用角色进行权限验证。在创建集群时既可以使用默认ECS应用角色，也可以使用自定义的角色。

阿里云文档 2026-03-23

使用ListKyuubiSparkApplications列出Kyuubi提交的Spark应用-开源大数据平台 E-MapReduce-阿里云

ListKyuubiSparkApplications

阿里云文档 2026-01-08

使用ListDataServiceApplications获取数据服务应用的基础信息列表-大数据开发治理平台 DataWorks-阿里云

调用ListDataServiceApplications获取数据服务应用的基础信息列表。

文章 2024-07-04 来自：开发者社区

Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享

本书从一个系统化的视角，秉承大道至简的主导思想，介绍Spark中最值得关注的内容，讲解Spark部署、开发实战，并结合Spark的运行机制及拓展，帮读者开启Spark技术之旅。 Spark大数据处理：技术、应用与性能优化(全)PDF下载 Spark已经在全球范围内广泛使用，无论是Intel、Yahoo!、Twitter、阿里巴巴、百度、腾讯等国际互联网巨头，还是一些尚处于成长期的小公司，都在...

文章 2024-06-13 来自：开发者社区

Apache Spark在大数据处理中的应用

随着信息技术的飞速发展，数据已成为驱动业务增长的关键因素。大数据时代背景下，传统的数据处理技术已难以应对海量、高增长率和多样化的数据挑战。为解决这一问题，分布式处理框架应运而生，其中Apache Spark以其高效、易用的特性，成为了大数据处理领域的明星工具。本文将深入探讨Apache Spark的核心概念、架构设计、主要组件...

文章 2024-06-02 来自：开发者社区

深入探究Apache Spark在大数据处理中的实践应用

引言：在大数据时代，数据的处理和分析能力已成为企业竞争力的关键。Apache Spark作为当前最热门的大数据处理框架之一，凭借其快速、高效和灵活的特性，已广泛应用于各个行业。本文将深入探讨Apache Spark的内部机制、核心组件以及在实际大数据处理中的应用，旨在为读者提供一份详尽的Spark使用指南。一、Apache ...

文章 2024-01-16 来自：开发者社区

Apache Spark 的基本概念和在大数据分析中的应用

Apache Spark 是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark 提供了一个统一的编程模型，可以在多种编程语言中使用，包括 Scala、Java、Python和R。Spark 的主要特点包括：快速：Spark 使用内存计算技术，可以比传统的批处理系统（如...

文章 2024-01-09 来自：开发者社区

介绍 Apache Spark 的基本概念和在大数据分析中的应用。

Spark的基本概念包括：弹性分布式数据集（Resilient Distributed Dataset，简称RDD）：它是Spark的核心数据结构，代表分布在集群中的可并行处理的数据集，可以在内存中存储。RDD具有容错能力，即使在节点失败时也可以自动恢复。转换操作（Transformations）：Spark提供了一系列转换操作来对RDD进行处理，例如map、filter、reduce等。这些转....