基本概念
或存放概念模型的维度定义，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表，帮助您降低数据计算口径和算法不统一的风险。主题域 主题域用于将数据集市按照分析视角进行划分，通常是...
云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
云原生大数据计算服务 MaxCompute系统权限策略参考
本文描述云原生大数据计算服务 MaxCompute支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里...
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 ...
配置转换组件
将鼠标指针移动至已完成配置的目标数据源上，单击圆点拉出连接线，连接目标数据源和 字段计算器-1。单击画布区域的 字段计算器-1，设置以下参数，配置转换组件。在 转换名称 区域，输入转换名称。说明 建议配置具有业务意义的名称（无唯一...
数据计算计费说明
PyODPS、EMR Hive），一部分会通过调度下发至各引擎执行，另一部分直接在DataWorks的资源组上执行或通过DataWorks资源组启动资源再下发至引擎执行，任务代码执行时会占用一定计算资源，下发至计算引擎的任务由对应计算引擎收取数据计算费用...
操作审计事件数据迁移至MaxCompute
审计事件投递 区域：选择 将事件投递到大数据计算服务MaxCompute。选择 投递到本账号，设置如下参数。参数 描述 大数据计算服务地域 被投递数据的MaxCompute项目所在地域。说明 操作审计会将审计日志投递至MaxCompute指定地域下的...
E
返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
Serverless资源组计费
其中：数据计算费用：在DataWorks运行 数据同步任务（例如，离线同步任务）、数据服务任务（例如，调用数据服务API）、数据计算任务（例如，ODPS SQL、PyODPS、EMR Hive）、数据质量规则执行 等，均会产生数据计算费用。数据调度费用：将...
POSITIVE
返回表达式的值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL positive(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL expr)参数说明 expr...相关函数 POSITIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
NEGATIVE
返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL expr)参数说明 ...相关函数 NEGATIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
ISNAN
判断表达式的值是否为 NaN，如果值为 NaN，返回True，否则返回False。命令格式 boolean isnan(expr)参数说明 expr：必填。DOUBLE类型。...相关函数 ISNAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
UNHEX
返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string number)参数说明 number：必填。...相关函数 UNHEX函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
ATAN2
计算 expr1/expr2 的反正切函数。命令格式 double atan2(expr1,expr2)参数说明 expr1：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会...相关函数 ATAN2函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array T filter(array T a,function T,boolean func)参数说明 a：必填...相关函数 FILTER函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
什么是数据湖构建
DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户快速实现云原生数据湖及OpenLake解决方案的构建与管理。该平台能够实现元数据的统一、湖表格式的统一以及数据存储的统一，显著简化客户在数据湖构建和管理过程中的运维工作...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
旧版资源组切换为Serverless资源组
由旧版资源组切换为Serverless资源组前，数据计算任务（PyODPS2、EMR Hive等）不会收取计算费用，切换为Serverless资源组后，计算任务会收取计算费用。操作步骤 步骤一：查询待切换资源组的任务 数据集成 数据集成页面 进入数据集成页面。...
云消息队列 Kafka 版数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
基础概念
语法详述见 功能概览 使用过程中请注意：iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute：大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布...
大数据计算服务MaxCompute
本文为您介绍大数据计算服务MaxCompute连接器的语法结构、WITH参数和使用示例等。背景信息 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案，致力于批量结构化数据的存储和计算，提供海量数据仓库的解决...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
计算设置
计算引擎 说明 相关文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
数仓分层
降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
快速体验
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
创建数据板块
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 使用此模式。Basic模式：生成开发与运维一体化的Prod环境，数据生产过程稳定且便捷。如果您关注数据研发效率，研发人员职能边界模糊，计算存储预算有...
计量计费
本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息 通常情况下，每个算法组件由多个子任务组成。...查看账单信息 MaxCompute SQLML作业，在账单中体现的是 大数据计算服务MaxCompute+机器学习（PAI）两个产品的费用。
API概览
本产品（云原生大数据计算服务 MaxCompute/2022-01-04）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK...
查看账单详情
产品名称 选择 云原生大数据计算服务 MaxCompute，查看MaxCompute每天各个计费项的账单信息。上图说明如下：资产/资源实例ID：出账单元。MaxCompute按量计费模式的账单出账单元目前有三类：标准的计算、存储、下载计费项，以Project和...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
近实时数仓概述
同样可提供离线与近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供Upsert，Time travel等一系列实用功能来扩展业务场景，可有效地节省数据计算，存储和迁移成本...
作业智能诊断
数据倾斜 数据倾斜是大数据计算一个常见的问题，通常表现为作业的执行进度停留在99%，这使人产生作业执行被卡住的印象。这一现象源于数据分布不均匀，导致部分Worker迅速完成计算，而另一些Worker却需要运行较长时间处理。在数据量呈爆炸式...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
场景教程
MaxCompute Hologres EMR Spark 数据分析 大数据AI公共数据集分析 本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，...
概述
MaxCompute Hologres EMR Spark 数据分析 大数据AI公共数据集分析 本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，...
计算抵扣包和存储抵扣包
000 33000 75%24,750.00 计算抵扣包选择示例 例如您的阿里云账号开通使用MaxCompute上海区域的按量计费服务，主要使用SQL和Spark进行数据计算，每个月计算费用原价大概有 1000 元，一年则有 12000 元，那么您可以考虑购买计算抵扣包。...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。...
- 产品推荐
- 这些文档可能帮助您