文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

操作审计

操作审计(ActionTrail)是阿里云提供的云账号资源操作记录的查询和投递服务,可用于安全分析、资源变更追踪以及合规性审计等场景。

终端访问控制系统

终端访问控制系统UEM(Unified Endpoint Management)是基于阿里巴巴数字办公最佳实践输出的办公终端管理系统,通过对移动端和PC端办公设备(Windows、macOS、Android、iOS)的统一管理,为企业员工提供随时、随地、高效、安全的办公体验。

并行操作

并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程,通过多个CPU并行计算raster对象中的子集内容,从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行,当所有子集执行完成,...

并行操作

并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程,通过多个CPU并行计算raster对象中的子集内容,从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行,当所有子集执行完成,...

并行操作

并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程,通过多个CPU并行计算raster对象中的子集内容,从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行,当所有子集执行完成,...

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

分布式执行和并行查询

相反,在系统过载的情况下,操作系统会被迫进行更多的调度,例如,执行上下文切换或者页面交换,可能会导致性能的下降。通常在 DSS 系统中,需要访问大量分区和数据仓库环境,这时并行执行能够提升执行响应时间。对于简单的 DML 操作或者...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

并行查询(Parallel Query)

并行查询的使用方法 通过系统参数来控制并行查询 PolarDB通过Global全局参数max_parallel_degree来控制每一条SQL最多使用多少个线程并行执行,默认值是0,您可以在使用过程中随时修改该参数,无需重启数据库,具体操作请参见设置集群参数。...

并行查询(Parallel Query)

并行查询的使用方法 通过系统参数来控制并行查询 PolarDB通过Global全局参数max_parallel_degree来控制每一条SQL最多使用多少个线程并行执行,默认值是0,您可以在使用过程中随时修改该参数,无需重启数据库,具体操作请参见设置集群参数。...

通过Hint控制

Parallel Hints可以指定优化器是否选择并行执行,还支持指定并行度以及需要并行的表。PolarDB目前支持在并行查询中使用PARALLEL和NO_PARALLEL两种Hints。开启或关闭并行查询 开启并行查询 您可以使用如下任意一种方式开启并行查询:SELECT/...

执行补数据并管理补数据实例

DataWorks的补数据功能用于在指定日期范围内运行周期任务,您可以在补数据实例页面查看实例的运行状态,以及对补数据实例进行终止、重跑和解冻等操作。本文为您介绍如何对周期任务进行补数据,并管理补数据实例。背景信息 周期任务开发完成...

概述

跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询,具体可参见使用跨机并行查询进行分析型查询。PolarDB O引擎支持对分区表使用跨机并行查询的功能,提升数据库性能,具体可参见对分区表使用跨机并行查询。

并行DDL

当数据库硬件资源空闲时,您可以通过并行DDL功能加速DDL执行,避免阻塞后续相关的DML操作,缩短执行DDL操作的窗口期。前提条件 PolarDB集群版本需满足如下条件之一:PolarDB MySQL引擎8.0版本且修订版本为8.0.1.1.7或以上。PolarDB MySQL...

并行查询

系统会通过当前并发数、Segment配置和SQL信息,自动选择并行度,在检测到当前系统负载较大时会关闭并行查询。在低并发场景下,对大数据量单表聚合查询,能够减少约50%查询时间。说明 请确保您的实例内核小版本为6.3.4.0及以上版本,如何...

并行网关

在拓扑任务中,您可以添加并行网关实现多个节点并行处理效果,满足业务存在多个独立任务需要并行处理的需求,以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤创建拓扑子任务。创建两个或两个以上的简单或...

whale.auto_parallel

为了进一步降低使用成本及简化操作,Whale提供了whale.auto_parallel接口,可以通过一行代码的简易模式自动进行并行操作。接口说明 格式auto_parallel(modes)功能 通过一行代码的简易模式自动进行并行操作。例如:whale.auto_parallel...

使用跨机并行查询进行分析型查询

细粒度使用方式 使用跨机并行查询可以通过以下三种粒度进行分析型查询:系统粒度:通过参数控制所有session所有查询是否开启跨机并行查询。会话粒度:通过alter session或session级别的GUC参数控制当前session是否开启跨机并行查询。查询...

内核发布日志

问题修复 优化master_key_id_mutex,使得DDL操作可以并行执行。8.0.1.1.17(20210723)类别 说明 新增功能和性能优化 新增polar_replica_work_on_nonblock_mdl_mode参数。开启该参数时,只读节点上的RU/RC隔离级别的未提交事务将不再阻塞主...

Whale分布式范式剖析

针对Whale支持的几种并行化方式(数据并行、流水并行、Layer间拆分的模型并行、算子拆分的模型并行及各种混合并行策略),本文介绍其实现逻辑及在Whale中的实现方式,以指导您快速使用Whale进行分布式训练。数据并行 背景信息 对于大规模...

内核发布日志

问题修复 优化master_key_id_mutex,使得DDL操作可以并行执行。8.0.1.1.17(20210723)类别 说明 新增功能和性能优化 新增polar_replica_work_on_nonblock_mdl_mode参数。开启该参数时,只读节点上的RU/RC隔离级别的未提交事务将不再阻塞主...

并行度控制策略

PolarDB支持通过parallel_degree_policy参数来设置并行查询中并行度的配置策略。本文将介绍相关参数说明。前提条件 集群版本需为PolarDB MySQL引擎且修订版本为8.0.1.1.11或以上,详情请参见查询版本号。并行度控制参数 参数 级别 说明 ...

BertLarge分布式训练(流水并行

上图的示例中Micro-Batch数量为4,流水并行优化后的时间轴显示,同一时间点上多张GPU卡可以并行计算。当4个Micro-Batch结束后,每张GPU卡将每个Micro-Batch的梯度进行本地累计(即上图中的Grads Acc)之后,进行Update权重操作。与模型并行...

启动加速-模块并行启动

依赖树没有定义启动顺序的模块,可以并行启动,也可以串行启动。依赖树示例如下:该依赖树表示:模块 B 和模块 C 依赖模块 A模块 F 依赖模块 E,模块 E 依赖模块 D该依赖树会保证:模块 A 必定在模块 B 和模块 C 之前启动模块 D 在模块 E ...

常见概念和操作

伸缩组概述 ECS实例 ECS实例等同于一台虚拟服务器,内含CPU、内存、操作系统、网络配置、磁盘等基础的计算组件。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的...

对分区表使用跨机并行查询

PolarDB O引擎支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询,提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示:支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

概述

PolarDB PostgreSQL引擎提供了跨机并行查询(Parallel Execution)的功能,支持多个计算节点分布式地执行SQL查询,加速PolarDB PostgreSQL引擎的分析型查询性能,充分发挥存储层PolarFileSystem的高I/O吞吐能力,以及提高所有计算节点的CPU...

快速开始

Whale可以帮助您便捷地进行分布式并行训练,支持各种并行策略混合训练,同时提供多种通信优化方法。本文介绍在Whale中实现分布式并行策略的详细步骤,包括初始化、资源划分、模型划分及硬件资源到逻辑资源的映射,并提供了完整示例。同时,...

并行循环步骤

当所有分支执行结束后,可以通过输出映射将迭代本地变量数组转换为并行步骤的输出。说明 并行循环步骤最大并发数限制为100。并行步骤包含以下属性:(必需)type:foreach表示该步骤是并行循环步骤。(必需)name:步骤名称。(必需)...

参数说明

max_parallel_workers 设置系统并行操作所支持的工作者的最大数量。要注意将这个值设置得大于max_worder_processes将不会产生效果。注意并行查询可能消耗比非并行查询更多的资源,因为每一个工作者进程时一个完全独立的进程,它对系统...

并行步骤

当所有分支执行结束后,可以通过输出映射将分支本地变量数组转换为并行步骤的输出。说明 并行步骤最大分支数限制为100。并行步骤包含以下属性:(必需)type:parallel表示该步骤是并行步骤。(必需)name:步骤名称。(必需)branches:多...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 轻量应用服务器 块存储 SSL证书 商标 对象存储 短信服务
这些文档可能帮助您
SDK参考概述 登录堡垒机系统 CLB实例概述 快速入门概述 什么是消息队列RocketMQ版? 什么是传统型负载均衡CLB

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折