云原生大数据计算服务 MaxCompute spark数据的相关内容

阿里云文档 2026-01-21

开放数据元数据表清单结构说明-大数据开发治理平台 DataWorks-阿里云

DataWorks开放数据为您提供各维度的表或视图，便于您采集元数据。本文为您介绍当前DataWorks开放数据提供的表和视图列表，及其结构明细。

阿里云文档 2026-01-20

开放数据

DataWorks OpenData 为用户提供集中、统一、易用的DataWorks平台的“元数据集合”。用户无需复杂配置，即可通过MaxCompute Package 视图授权共享的方式，快速获取标准化、可追溯的元数据信息。数据范围包含各类表、任务节点及实例、工作空间、成员、项目、数据质量、数据资产等对象的详细元数据，助力数据治理与分析。

阿里云文档 2025-10-16

Serverless Spark 提供多种内置函数，包括兼容开源函数和特有函数，用于高效处理数据，如 PARQUET_SCHEMA、PARQUET_METADATA、URL_DECODE 等，支持复杂数据操作与解析。

Serverless Spark 内置了多种函数，能够满足大部分数据处理需求。本文将为您介绍 Serverless Spark 内置提供的函数及其使用说明。

阿里云文档 2025-10-10

本方案通过阿里云OSS实现HDFS数据跨可用区冷备与快速恢复，保障业务连续性。

单可用区故障可能导致 HDFS 数据丢失及服务中断。本方案通过 OSS 跨可用区存储实现定期冷备，以便在故障发生时迅速启动新的集群并恢复数据，从而保障业务的连续性。

阿里云文档 2025-09-26

迁移MaxCompute数据到云数据库SelectDB版

本文为您介绍如何使用Catalog将MaxCompute（MC）的离线数据迁移到云数据库 SelectDB 版。

问答 2024-06-13 来自：开发者社区

MaxCompute spark SQL查询分区表数据报错java.lang.String c...

MaxCompute spark SQL查询分区表数据报错java.lang.String cannot be cast to java.lang.Integer

问答 2024-06-08 来自：开发者社区

MaxCompute中可以使用spark读取外部表数据写入内表吗

问答 2024-02-25 来自：开发者社区

大数据计算MaxCompute中Spark跑oss数据，这几个有啥区别？

大数据计算MaxCompute中Spark跑oss数据，用MC 合适还是AnalysDB, 我看EMR，mc, ADB好几个产品都支持，不知道哪个合适，成本低点？另外这几个有啥区别？

问答 2024-01-23 来自：开发者社区

在大数据计算MaxCompute中，云下的spark程序如何才能访问oss外表数据呢？

在大数据计算MaxCompute中，客户在云下使用spark访问odps数据，当前如果odps中的表为oss外表（使用内网）运行报错。分析：在云下 ping不通这个 internal 的地址，想修改为公网试试，如果不能通过公网访问，云下的spark程序如何才能访问oss外表数据呢？

文章 2023-12-26 来自：开发者社区

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)

停不要往下滑了，默默想5min，看看这些面试题你都会吗？一个CPU core同一时间只能执行一个线程。而每个Executor进程上分配到的多个task，都是以每个task一条线程的方式，多线程并发运行的。一个应用提交的时候设置多大的内存？设置多少Core？设置几个Executor？以下答案仅供参考：./bin/spark-submit \ –master yarn-cluster \ –num-....