spark云原生大数据计算服务 MaxCompute数据的相关内容

阿里云文档 2026-01-21

开放数据元数据表清单结构说明-大数据开发治理平台 DataWorks-阿里云

DataWorks开放数据为您提供各维度的表或视图，便于您采集元数据。本文为您介绍当前DataWorks开放数据提供的表和视图列表，及其结构明细。

阿里云文档 2026-01-20

开放数据

DataWorks OpenData 为用户提供集中、统一、易用的DataWorks平台的“元数据集合”。用户无需复杂配置，即可通过MaxCompute Package 视图授权共享的方式，快速获取标准化、可追溯的元数据信息。数据范围包含各类表、任务节点及实例、工作空间、成员、项目、数据质量、数据资产等对象的详细元数据，助力数据治理与分析。

阿里云文档 2025-10-16

Serverless Spark 提供多种内置函数，包括兼容开源函数和特有函数，用于高效处理数据，如 PARQUET_SCHEMA、PARQUET_METADATA、URL_DECODE 等，支持复杂数据操作与解析。

Serverless Spark 内置了多种函数，能够满足大部分数据处理需求。本文将为您介绍 Serverless Spark 内置提供的函数及其使用说明。

阿里云文档 2025-10-10

本方案通过阿里云OSS实现HDFS数据跨可用区冷备与快速恢复，保障业务连续性。

单可用区故障可能导致 HDFS 数据丢失及服务中断。本方案通过 OSS 跨可用区存储实现定期冷备，以便在故障发生时迅速启动新的集群并恢复数据，从而保障业务的连续性。

阿里云文档 2025-09-26

迁移MaxCompute数据到云数据库SelectDB版

本文为您介绍如何使用Catalog将MaxCompute（MC）的离线数据迁移到云数据库 SelectDB 版。

问答 2024-12-17 来自：开发者社区

使用开源spark-datasource-v3.1写maxcompute丢失数据问题

当我使用https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/spark-datasource-v3.1 中开源的spark连接器往maxcompute写数据时有较大概率丢失数据，任务为批处理任务，但是任务不会报任何错误，且正常commiting以及commited，请问有什么方法可以解决该问题吗？

问答 2024-03-26 来自：开发者社区

请教一下，如何通过spark删除大数据计算MaxCompute分区数据啊？

请教一下，如何通过spark删除大数据计算MaxCompute分区数据啊？spark.sql执行drop语句没有用？

问答 2023-08-21 来自：开发者社区

云数据仓库ADB Spark 能访问 MaxCompute 里的数据么？

问答 2023-06-09 来自：开发者社区

如果用MaxCompute spark的话，还是得sdk或者jdbc读取odps的数据，能读取到吗？

如果用MaxCompute spark的话，还是得sdk或者jdbc读取odps的数据，这种能读取到吗？网络是通的不？还是得在odps执行的，就是udf不是有网络问题不行嘛，这个用spark会不会也存在网络问题这种情况，我看spark的连接好像是直接odps执行的，在idea本地开发的话怎么连接odps读取数据呢？有样例嘛

问答 2022-04-15 来自：开发者社区