基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
支持资源组的云服务
访问控制 资源ID basicaccelerator：基础性实例 资源ID bandwidthpackage：带宽包 资源ID 大数据开发治理平台DataWorks dide 是 是 project：工作空间 资源ID 统一转组API：MoveResources VMware服务 acvs 是 是 privatecloud：专属VMware...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
任务运行诊断
该场景，可通过 运行诊断>任务执行>数据集成 页签，查看任务等待数据集成资源时，哪些任务正在占用该资源，以及单个任务占用的资源量。说明 一个数据集成任务将占用一个调度资源，若任务长时间未运行成功，可能会阻塞其他任务运行。如果...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
跨境SaaS:深圳市易仓科技有限公司
在数据库架构演进过程中，也遇到诸多痛点：痛点1:单实例海量表，运维管理困难，数据库稳定性挑战大 痛点2:多租户共享一个数据库实例，数据量大，资源抢占 痛点3:租户版本升降、合并、打散时，租户数据迁移效率低 痛点4:传统主从数据库架构...
资源监控
说明 调度资源大盘的资源监控数据来源于Prometheus，请确保您后台部署的Prometheus监控服务处于正常状态，否则监控数据可能有误或无法展示。操作步骤 使用元仓账号或系统管理员账号进入元仓租户。在Dataphin首页，单击顶部菜单栏 管理中心...
数据源资源
数据源资源（DataSource）用于查询云服务的资源数据。数据源资源可以被其他资源引用，也可以在输出（Outputs）中被引用。数据源资源和普通资源除了作用不同，支持的功能（例如：引用、依赖、更新等）完全相同。应用场景 将动态查询结果作为...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
到期提醒与停机策略
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
产品服务等级协议
本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的数据资源平台的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于数据资源平台公测、邀测、免费的功能及版本，也不适用于数据...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？...为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用数据资源平台前，需要完成的准备工作，具体操作，请参见 创建阿里云账号 和 购买及登录...
续费
可避免未及时续费，而导致资源、数据被清空。进入 阿里云用户中心。在左侧导航栏，单击 订单管理>续费管理。在 手动续费 页签，选择需开通自动续费的实例，单击该实例 操作 列下的 开通自动续费。在 开通自动续费 页面，选择自动续费周期后...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看空间元信息
当数据源为空间类型时，您可以查看空间数据元信息，包括几何类型、坐标参考、空间范围、单位、要素...在左侧导航栏，单击 图标，选择 数据资源列表 或 已授权资源列表 下数据源的数据表。在数据表页面的 空间元信息 页签，查看空间数据信息。
预览物理表
提供不同数据资源的快速预览和字段详情查看，便于开发人员、数据应用人员和数据分析人员全面直观的了解数据，本章节介绍如何预览物理表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据...
授权系统API
在OpenAPI场景，当外部应用需要对接 数据资源平台 组件的OpenAPI时，需要联系租户管理员，对外部应用调用 数据资源平台 组件的OpenAPI进行授权。本文介绍如何授权API。前提条件 已完成应用创建，具体操作，请参见 新建应用。如需进行API...
权限列表
支持查看 数据资源平台 各组件的功能权限和数据权限。本文介绍如何查看各组件的权限内容。前提条件 使用权限账号登录 数据资源平台。查看权限列表 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统设置。在页面左侧导航栏，...
功能简介
数据资产服务，根据数据资源的性质和特点，选择采用数据表、标签 或接口方式提供资产服务。数据资产下线，根据数据的实际情况不再共享数据资产。资产注册 资产注册功能是 数据资源平台 资产管理的基础，可快速锁定待管理数据资产的范围。...
运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
物理表查询
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，单击 图标，选择 数据...
新建工作组并添加成员
前提条件 您已经购买数据资源平台，具体操作，请参见 购买数据资源平台。已使用租户管理员账号登录。背景信息 所有租户下的工作组都是隔离的，同一个租户下可以新建多个工作组。添加工作组 登录 数据资源平台控制台。在页面右上角单击 图标...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）开源大数据平台 E-MapReduce（EMR）不支持在RAM权限策略语句的 Resource 中指定资源ARN。如果要允许对 开源大数据平台 E-MapReduce（EMR）的访问权限，请在策略...
- 产品推荐
- 这些文档可能帮助您