产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
迁移Batch批量计算到分布式工作流Argo集群
通过Loops工作流可以实现数据分片和并行处理，加快海量数据的处理速度。更多Loops示例，请参见 工作流（Workflows）Loops。apiVersion:argoproj.io/v1alpha1 kind:Workflow metadata:generateName:loops-spec:entrypoint:loop-example ...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
离线异步任务场景
充足的GPU资源供给 函数计算平台提供充足的GPU资源供给，当业务遭遇大规模离线任务时，函数计算将以秒级弹性供给海量GPU算力资源，避免因GPU算力供给不足、GPU算力弹性滞后导致的业务受损，适合忙闲流量分明（长时空闲、短时繁忙）、忙闲...
分布式工作流Argo集群概述
分布式工作流Argo集群（简称 工作流集群）采用无服务器模式，使用阿里云弹性容器实例ECI运行工作流，通过优化Kubernetes集群参数，实现大规模工作流的高效弹性调度，同时配合抢占式ECI实例，优化成本。本文介绍 工作流集群 的控制台操作...
添加访问地址
将只需要获取数据副本的读操作分散到多个从节点上，可实现并行处理和负载均衡，减少数据库的负载和响应时间，提高用户的体验和满意度。更多信息，请参见 数据库代理。概念介绍 主地址：其读写模式为可读可写，默认读主，提供强一致读写。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
背景信息 Fan-out Fan-in Fan-out和Fan-in常用于构建高效的并发处理流程，通过拆分（Fan-out）和聚合（Fan-in）操作，能够充分利用多核、多机资源，实现大规模数据的高效处理。如上图所示，工作流编排过程中，可以使用DAG（有向无环图）...
多级分区表静态裁剪与并行扫描
PX Worker：参与ePQ跨机并行查询的工作进程角色。Worker ID：唯一标识一个PX Worker的编号。原理介绍 在多级分区表中，每一级分区表的分区维度可以不同，如下图所示：例如，一级分区表按照时间（date）维度分区，二级分区表按照地域...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
PAI-EasyVision简介
随着深度学习技术的快速发展，计算视觉技术已经跨入大规模商业化应用阶段。对于视觉AI应用开发者而言，熟练地运用深度学习CV建模技术存在较高门槛，主要体现在以下几个方面：深度学习算法代码开发成本高，对大量细节进行Debug的代价很高。...
创建倍速转码任务
针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段，使用多台转码机并行转码的方式提升视频流转码效率，显著缩短处理耗时。实现原理如下图：功能特性 类型 说明 加速倍数...
ANALYZE分析工具
原理介绍 在ePQ优化器产生的分布式并行查询计划中，计划树中的每个算子可能被多个PX Worker执行。例如，一个 Seq Scan 计划节点会被多个PX Worker执行，每个PX Worker负责扫描一部分数据。因此，相比于现有的 EXPLAIN ANALYZE 工具，PX的 ...
自适应扫描
QC进程在发起并行查询任务时，会启动自适应扫描线程，用于接收并处理来自PX Worker进程的请求消息。自适应扫描线程维护了当前查询扫描任务的进度，并根据每个PX Worker进程的工作进度，向PX Worker进程分派需要扫描的Disk Unit ID。对于...
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
创建物化视图的跨机并行加速和批量写入
原理介绍 对于物化视图的创建和刷新，以及 CREATE TABLE AS/SELECT INTO 语法，由于在数据库层面需要完成的工作步骤十分相似，因此PostgreSQL内核使用同一套代码逻辑来处理这几种语法。内核执行过程中主要包含以下两个步骤：数据扫描：执行...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
MapReduce模型
背景信息 MapReduce模型只有一个Reduce，所有子任务完成后会执行Reduce方法，可以在Reduce方法中返回该任务示例的执行结果，作为工作流的上下游数据传递。如果有子任务失败，Reduce不会执行。Reduce失败，整个任务示例也失败。MapReduce...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
并行操作
并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程，通过多个CPU并行计算raster对象中的子集内容，从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行，当所有子集执行完成，...
并行操作
并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程，通过多个CPU并行计算raster对象中的子集内容，从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行，当所有子集执行完成，...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
并行操作
并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程，通过多个CPU并行计算raster对象中的子集内容，从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行，当所有子集执行完成，...
- 产品推荐
- 这些文档可能帮助您