文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

操作审计

操作审计(ActionTrail)是阿里云提供的云账号资源操作记录的查询和投递服务,可用于安全分析、资源变更追踪以及合规性审计等场景。

终端访问控制系统

终端访问控制系统UEM(Unified Endpoint Management)是基于阿里巴巴数字办公最佳实践输出的办公终端管理系统,通过对移动端和PC端办公设备(Windows、macOS、Android、iOS)的统一管理,为企业员工提供随时、随地、高效、安全的办公体验。

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,并将执行任务分配到多个CPU上以提升性能。适用...

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,并将执行任务分配到多个CPU上以提升性能。适用...

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,并将执行任务分配到多个CPU上以提升性能。适用...

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

ganos.parallel.degree

并行操作时,若未指定并行度,Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围:1~64。默认值为1。示例SET ganos.parallel.degree=4;

分布式执行和并行查询

相反,在系统过载的情况下,操作系统会被迫进行更多的调度,例如,执行上下文切换或者页面交换,可能会导致性能的下降。通常在 DSS 系统中,需要访问大量分区和数据仓库环境,这时并行执行能够提升执行响应时间。对于简单的 DML 操作或者...

并行查询(Parallel Query)

parallel_degree_policy Global 设置单个查询的并行度配置策略,取值范围如下:TYPICAL:PolarDB选择查询并行度时不会考虑数据库负载(如CPU使用率等),而尽可能与max_parallel_degree设置的并行度保持一致。AUTO:PolarDB会根据数据库...

并行查询(Parallel Query)

parallel_degree_policy Global 设置单个查询的并行度配置策略,取值范围如下:TYPICAL:PolarDB选择查询并行度时不会考虑数据库负载(如CPU使用率等),而尽可能与max_parallel_degree设置的并行度保持一致。AUTO:PolarDB会根据数据库...

通过Hint控制

并行子查询 并行子查询的选择方式(并行子查询详细信息请参见子查询支持)也可以通过Hint来进行控制,语法及说明如下:/*+PQ_PUSHDOWN[([query_block])]*/对应的子查询会选择push down的并行子查询执行策略/*+NO_PQ_PUSHDOWN[([query_block...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

ganos.parallel.transaction

指定并行操作时并行事务是否可以和主事务一起提交或回滚。数据类型 String 取值 transaction_commit(默认值):支持并行事务和主事务一起进行提交或回滚。fast_commit:不支持并行事务和主事务一起进行提交或回滚。示例SET ganos.parallel...

并行查询

云原生数据仓库AnalyticDB PostgreSQL版提供了单表查询的并行查询功能,本文为您介绍并行查询功能。功能说明 如果您的实例Segment节点是4核及以上规格,单表查询将自动开启并行查询,提升多核并发能力、降低查询时间。系统会通过当前并发数...

并行DDL

控制每一个DDL操作的并行线程数。默认值为1,即执行单线程DDL。若该参数值不为1,当执行创建二级索引操作时将自动开启并行DDL。Optimization A若仅开启并行DDL功能仍不能满足您的需求,您还可以通过Optimization A对创建索引过程中的排序或...

执行补数据并管理补数据实例

如果业务日期的跨度大于选择的并行组数,则系统会结合配置的业务日期顺序兼有串行和并行。例如业务日期是1月11日~1月13日,并行数配置为2组,则会生成两个补数据实例(其中一个补数据实例会有两个业务日期,这两个业务日期对应的任务串行...

whale.auto_parallel

例如数据并行、模型并行、流水并行及组合的并行方式。当前仅支持自动数据并行,即modes=whale.replica。返回值 无 示例 在import whale as wh之后,添加wh.auto_parallel(wh.replica)即可自动配置Cluster,并实现数据并行。此处仅给出主体...

并行度控制策略

并行度控制参数 参数 级别 说明 parallel_degree_policy Global 设置单个查询的并行度配置策略,取值范围如下:TYPICAL AUTO REPLICA_AUTO(默认)说明 更多关于并行查询的使用方式,请参见并行查询(Parallel Query)。TYPICAL策略 ...

概述

结合PolarDB O引擎存储计算分离的架构,可以做到弹性扩展:当算力不够时,可以弹性地增加只读节点,新增的只读节点加入分布式的并行计算中,而不需数据重新分片(Reshard)。不会出现数据倾斜问题。使用场景 日常业务中的轻分析类业务,...

内核发布日志

8.0.2.1.0 20200722 支持Hash Join的并行执行,详情请参见Hash Join的并行执行。支持实时监控SQL级别的CPU占用率、Performance Agent、热重启(Warm buffer pool),详情请参见Resource Manager、Performance Agent。8.0.1.x 8.0.1.1.19&...

内核发布日志

8.0.2.1.0 20200722 支持Hash Join的并行执行,详情请参见Hash Join的并行执行。支持实时监控SQL级别的CPU占用率、Performance Agent、热重启(Warm buffer pool),详情请参见Resource Manager、Performance Agent。8.0.1.x 8.0.1.1.19&...

并行网关

在拓扑任务中,您可以添加并行网关实现多个节点并行处理效果,满足业务存在多个独立任务需要并行处理的需求,以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤创建拓扑子任务。创建两个或两个以上的简单或...

常见概念和操作

伸缩组概述 ECS实例 ECS实例等同于一台虚拟服务器,内含CPU、内存、操作系统、网络配置、磁盘等基础的计算组件。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的...

Whale分布式范式剖析

数据并行是分布式训练最常见的并行化方式,也是Whale支持的最基本的并行化方式之一。定义 数据并行是指将训练数据分片放到不同运算节点中,并以相同的运算逻辑进行运算。实现逻辑 以ResNet50模型为例,介绍数据并行的实现逻辑。该模型如下...

对分区表使用跨机并行查询

功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示:支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。使用限制 支持分区表join查询,但由于不支持...

使用跨机并行查询进行分析型查询

polar_px_dop_per_node 设置当前会话并行查询的并行度,默认为1,推荐值为当前CPU总核数。若设置该参数为N,则一个会话在每个节点上将会启用N个px workers进程,用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表...

BertLarge分布式训练(流水并行

本文针对BertLarge分布式并行训练所存在的问题,介绍Whale的并行化设计和方案。通过为模型并行和数据并行,搭配流水并行辅助并行策略,优化通信拓扑结构,以解决BertLarge分布式训练性能较差的问题。在Whale中,您可以通过模型划分、资源...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

开启时空并行查询

并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身较重的场景建议woker数量设置为2较合适,即max_parallel_workers_per_gather=2。对于...

更改主机操作系统

本文以Linux操作系统独享虚拟主机基础版为例,为您介绍更改主机操作系统的方法。使用限制 部分云虚拟主机由于硬件、机房位置等限定因素,不支持更改操作系统。更多信息,请参见不支持更改操作系统的云虚拟主机。每台云虚拟主机每天只能更改...

快速开始

Whale可以帮助您便捷地进行分布式并行训练,支持各种并行策略混合训练,同时提供多种通信优化方法。本文介绍在Whale中实现分布式并行策略的详细步骤,包括初始化、资源划分、模型划分及硬件资源到逻辑资源的映射,并提供了完整示例。同时,...

概述

结合PolarDB PostgreSQL引擎存储计算分离的架构,可以做到弹性扩展:当算力不够时,可以弹性地增加只读节点,新增的只读节点加入分布式的并行计算中,而不需数据重新分片(Reshard)。不会出现数据倾斜问题。使用场景 日常业务中的轻分析类...

参数说明

max_parallel_workers 设置系统并行操作所支持的工作者的最大数量。要注意将这个值设置得大于max_worder_processes将不会产生效果。注意并行查询可能消耗比非并行查询更多的资源,因为每一个工作者进程时一个完全独立的进程,它对系统...

并行循环步骤

并行循环步骤的每次迭代执行都对应一个本地变量。执行并行循环步骤会对输入参数里的每个元素并发执行串行步骤。这些串行步骤会改变其迭代对应的本地变量。当所有分支执行结束后,可以通过输出映射将迭代本地变量数组转换为并行步骤的输出。...

使用跨机并行查询进行分析型查询

polar_px_dop_per_node 设置当前会话并行查询的并行度,默认为1,推荐值为当前CPU总核数。若设置该参数为N,则一个会话在每个节点上将会启用N个px workers进程,用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 轻量应用服务器 块存储 SSL证书 商标 短信服务 对象存储
这些文档可能帮助您
SDK参考概述 如何选用NAS、OSS和EBS Linux系统挂载NFS文件系统 版本功能对比和使用限制 提升登录口令安全最佳实践 Demo工程

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折