云原生大数据计算服务 MaxCompute分析spark 的相关内容

阿里云文档 2026-04-25

用户画像分析案例加工数据-基于新版数据开发和Spark计算资源

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据，通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据，阅读本文后，您可以了解如何通过Spark SQL来计算和分析已同步的数据，完成数仓简单数据加工场景。

阿里云文档 2026-04-23

用户画像分析案例同步数据-基于新版数据开发和Spark计算资源

本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步操作。

阿里云文档 2026-04-22

基于MaxCompute UDF进行SQL分析

面对MaxCompute无法直接调用外部API的限制，本文将通过一个完整的实践案例，教您如何利用“离线IP库+UDF”的方案，在MaxCompute中高效地实现IP地址归属地分析。

阿里云文档 2026-04-15

用户画像分析案例环境准备-基于新版数据开发和Spark计算资源

本教程以用户画像为例，在华东2（上海）地域演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程，您需要准备教程所需的EMR Serverless Spark空间、DataWorks工作空间，并进行相关的环境配置。

阿里云文档 2026-03-13

使用X-分析通过自然语言智能问答查找资产和获取SQL-智能数据建设与治理 Dataphin-阿里云

智能分析接入阿里云（百炼）、DeepSeek等AI大模型平台，使用自然语言进行问答，帮助您高效便利地查找所需资产，获取SQL分析思路，并提供SQL示例。本文为您介绍如何使用X-分析助手。

文章 2023-05-25 来自：开发者社区

这是数据处理引擎的发电站，它们正竞相定义下一个大数据时代当涉及到大数据时，流计算和它所带来的实时强大分析的重要性是不可避免的。此外，当涉及到流计算时，无法避免该领域最强大的两种数据处理引擎:Spark和Flink。自2014年以来，Apache Spark的受欢迎程度迅速上升，在某些情况下，它的性能超过了Hadoop MapReduce的三位数，提供了一个统一的引擎，支持所有常见的数据处理场景，....

文章 2022-06-13 来自：开发者社区

图解大数据 | 基于Dataframe / SQL大数据处理分析@Spark操作

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/84本文地址：http://www.showmeai.tech/article-detail/175声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.Spark Dataframe 简介在高版本的Spark中，我们可以使用Dataframe这个结构形态....

文章 2022-06-13 来自：开发者社区

图解大数据 | 基于RDD大数据处理分析@Spark操作

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/84本文地址：http://www.showmeai.tech/article-detail/174声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.RDD介绍要掌握基于Spark的大数据处理操作，大家首先要了解Spark中的一个核心数据概念：RDD。....

文章 2022-06-13 来自：开发者社区

图解大数据 | 大数据分析挖掘框架@Spark初步

作者：韩信子@ShowMeAI教程地址：http://www.showmeai.tech/tutorials/84本文地址：http://www.showmeai.tech/article-detail/173声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.Spark是什么学习或做大数据开发的同学，都听说或者使用过Spark，从这部分开始，ShowMeAI带....

文章 2022-04-02 来自：开发者社区

颠覆大数据分析之Spark弹性分布式数据集

颠覆大数据分析之Spark弹性数据集译者：黄经业购书 Spark中迭代式机器学习算法的数据流可以通过图2.3来进行理解。将它和图2.1中Hadoop MR的迭代式机器学习的数据流比较一下。你会发现在Hadoop MR中每次迭代都会涉及HDFS的读写，而在Spark中则要简单得多。它仅需从HDFS到Spark中的分布式共享对象空间的一次读入——从HDFS文件中创建RDD...