2024年
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口，并直接使用MaxCompute的计算资源和数据接口。MaxFrame不仅兼容Pandas和Xgboost接口，还自动实现分布式处理，使得Python开发者可以更加高效、便捷地在MaxCompute上完成大规模...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源组混合负载隔离 AnalyticDB for MySQL 企业版、基础版、湖仓版 和 数仓版弹性模式...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
产品简介
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。开源Spark计算引擎可以满足更...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。同时，提供开源Spark计算引擎，可以...
查询执行模式
相比较于全内存计算的 Interactive 模式，Batch 模式可以对查询的任务进行分批执行，每个子任务在内存不足的情况下，自适应地将内存数据换出到磁盘，降低数据计算的成本，提升数据处理的容量上限。Interactive模式 AnalyticDB for MySQL ...
资源组介绍
云原生数据仓库AnalyticDB ...Batch查询类型的资源组：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。Interactive查询类型的资源组：适用于对延迟敏感的实时分析查询。相关文档 指定执行查询的资源组
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
概述
每个计算节点是一台ECS实例，它们提供了计算能力和存储能力，能够承载和运行各种类型的计算工作负载，如并行计算、大规模数据处理、深度学习训练等。通过配置多个计算节点，您可以构建一个强大的计算集群，以快速、高效地完成大规模计算...
产品系列
近年来，针对半结构化和非结构化数据分析（例如日志数据）的业务诉求越来越多，因此，AnalyticDB for MySQL 推出了基于弹性模式的 湖仓版，提供Spark计算引擎满足大数据离线处理需求。新推出的 企业版 和 基础版，融合了 数仓版预留模式、...
Data Studio概述
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
计算费用（按量付费）
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）、MCQA（查询加速SQL）和MaxFrame计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
PingCAP与阿里云计算巢联合方案深度解析：数据库软件...
由于TiDB数据库软件和Grafana监控软件的安装是完整集成的计算巢服务里的，在创建完成之后可以直接点击输出的IP地址即可访问TiDB数据库的管理后台和Grafana的控制台。对于很多企业用户而言，云的复杂性完全被屏蔽掉了，只需要关注软件部分的...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
MaxFrame
您可利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。重要 目前分布式计算框架MaxFrame服务支持的地域有华北2（北京）、华东1（杭州）、华东2（上海）、华南1（深圳）、西南1...
客户案例
客户需求 海量数据处理效率下降，离线数据计算时长不稳定。实时计算开发维护成本高，希望对数仓进行综合治理。价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使...
E
返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
数据分析整体趋势
存储计算分离：云计算的本质是资源高效池化，而数据库的两大核心组件是存储和计算。通过存储计算分离，做到两者解耦，资源池化，独立扩展，满足业务上资源隔离，数据共享的需求，是当下的架构趋势。计算分析一体化：传统数据分析方案是定期...
POSITIVE
返回表达式的值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL positive(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL expr)参数说明 expr...相关函数 POSITIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
NEGATIVE
返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL expr)参数说明 ...相关函数 NEGATIVE函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
资源管理
每个计算集群包含一组BE节点，类似于大数据系统中的计算组、计算队列。常用于读写隔离和在离线隔离等业务场景。计算层以集群粒度进行计算资源隔离的，同一个实例下的多集群之间，数据层是共享的，计算层是隔离的。同实例中的多个集群，通过...
ISNAN
判断表达式的值是否为 NaN，如果值为 NaN，返回True，否则返回False。命令格式 boolean isnan(expr)参数说明 expr：必填。DOUBLE类型。...相关函数 ISNAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
UNHEX
返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string number)参数说明 number：必填。...相关函数 UNHEX函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
ATAN2
计算 expr1/expr2 的反正切函数。命令格式 double atan2(expr1,expr2)参数说明 expr1：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会...相关函数 ATAN2函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
FILTER
将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array T filter(array T a,function T,boolean func)参数说明 a：必填...相关函数 FILTER函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
简介
Ganos支持常见的三维模型数据类型导入，如ifc（BIM）、glft、glb、obj、osgb、三维地质模型等，入库后可开展复杂的三维空间分析与三维查询，并基于Ganos快显引擎提供非预制切片渲染能力，基于Ganos的三维数据计算效率比传统方案提升50倍...
简介
Ganos支持常见的三维模型数据类型导入，如ifc（BIM）、glft、glb、obj、osgb、三维地质模型等，入库后可开展复杂的三维空间分析与三维查询，并基于Ganos快显引擎提供非预制切片渲染能力，基于Ganos的三维数据计算效率比传统方案提升50倍...
产品功能
时序数据计算能力 TSDB 提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合计算，能满足各种复杂的业务数据查询场景。监控运维 TSDB 提供实例运维系统，让您可以实时的掌握实例的运行情况、性能指标和存储空间使用情况，并...
产品架构
这些物理执行单元直接在指定的BE节点上执行，实现了数据计算的本地化，避免了不必要的数据传输和复制，从而极大的提升了查询性能。尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
常见问题
云数据库 SelectDB 版 实例可包含多个计算集群，每个计算集群包含 一个或多个BE节点，类似大数据系统中的计算资源组、计算队列类的概念。同一实例中的 多个计算集群 具有如下特性：数据共享：多集群共享底层数据，均可以访问底层数据，避免...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
内置时空数据引擎Ganos
空间和时空数据具有非结构化、体量大、数据密集兼具计算密集以及较高安全合规属性。PolarDB PostgreSQL版（兼容Oracle）的自研Ganos时空SQL引擎支持直接在数据库中就完成不同时空维度数据的信息检索及处理，相比传统需要跨库信息提取再汇总...
性能指标
用户在配置PSI任务时可以选择是否使用PSI缓存任务，如果选择使用PSI缓存任务，则可以只对增量数据进行PSI计算，适用于大数据量场景、增量更新较少的场景下的周期性PSI安全求交计算。以下是一组使用PSI缓存任务、不使用PSI缓存任务的性能...
计算设置概述
计算引擎 说明 相关文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端...
- 产品推荐
- 这些文档可能帮助您