Native DevOps

Native DevOps 是一个面向移动研发领域,通过自动化流程让业务交付(构建、测试、发布)更快、更稳定的平台;\n我们为您和您的团队提供了“一...\n并行研发模式:适用于业务功能复杂,需要多人多角色协同、并行研发,流程化过程管理的客户端;

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,按实际使用量计费。

文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

阿里云试用中心,为您提供0门槛上云实践机会!

100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!
广告

云原生数仓 AnalyticDB PostgreSQL

分析型数据库PostgreSQL版 兼容 Greenplum 开源数据仓库,为一种采用 MPP 全并行架构的数仓服务,其广泛兼容 PostgreSQL/Oracle 的语法生态,新一代向量引擎性能超越传统数据库引擎 10 倍以上,分布式SQL优化器实现复杂查询语句免调优。...

Terraform

Terraform是一种开源工具,用于安全高效地预配和管理云基础结构。你可以使用Terraform管理阿里云资源。
来自: 首页 >Terraform

云数据库 Memcache

云数据库Memcache版(ApsaraDB for Memcache)是基于内存的缓存服务,支持海量小数据的高速访问。云数据库Memcache可以极大...云数据库Memcache支持Key-Value的数据结构,兼容Memcached协议的客户端都与阿里云云数据库Memcache版进行通信。

表格存储 Tablestore

表格存储(Tablestore)是构建在阿里云飞天分布式系统之上的 NoSQL 数据存储服务,提供海量结构化数据的存储和实时访问。

数据管理 DMS

数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。

开放搜索

开放搜索(OpenSearch)基于阿里巴巴自主研发的大规模分布式搜索引擎平台,是一款结构化数据搜索托管服务,为移动应用开发者和网站站长提供简单、高效、稳定、低成本和扩展的搜索解决方案。

阿里云物联网平台

物联网平台提供安全可靠的设备连接通信能力,支持设备数据采集上云,规则引擎流转数据和云端数据下发设备端。此外,也提供方便快捷的设备管理能力,支持物模型定义,数据结构化存储,和远程调试、监控、运维。

智能媒体管理

它具有与平台无关的 RESTful API 接口,为阿里云上的非结构化存储数据(例如,OSS 中的视频、图片、文档等数据)提供快捷的数据处理通道,比如 OFFICE 格式转换,图片、视频的编辑处理,以及人工智能的价值数据提取和检索(例如,标签识别...

并行查询(Parallel Query)

生成并行计划后,Worker的执行计划引用了可并行执行的子查询,PolarDB优化器会选择先提前并行执行这些子查询,让Worker可以直接访问这些子查询的结果。Pushed down 生成并行计划后,Worker执行计划引用了相关子查询,这些子查询会被整体推...

通过Hint控制

Hints可以指定优化器是否选择并行执行,还支持指定并行度以及需要并行的表。PolarDB目前支持在并行查询中使用PARALLEL和NO_PARALLEL两种Hints。开启或关闭并行查询 开启并行查询您可以使用如下任意一种方式开启并行查询:SELECT/*+PARALLEL...

并行操作

原理PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上提升性能。适用场景SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象,能够极大地降低查询时间。适用范围所有...

并行操作

原理PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上提升性能。适用场景SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象,能够极大地降低查询时间。适用范围所有...

并行操作

原理PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上提升性能。适用场景SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象,能够极大地降低查询时间。适用范围所有...

BertLarge分布式训练(流水并行

通过为模型并行和数据并行,搭配流水并行辅助并行策略,优化通信拓扑结构解决BertLarge分布式训练性能较差的问题。在Whale中,您可以通过模型划分、资源划分及映射三个步骤,实现大规模数据及模型的分布式训练。背景信息受益于深度神经...

使用跨机并行查询加速索引创建

跨机并行查询功能还可以用于加速构建B-tree索引。本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍PolarDB PostgreSQL在执行索引构建时,会首先扫描待构建索引的基表构造出索引项,然后再进一步的根据索引项完成整棵索引树的构建...

使用跨机并行查询加速索引创建

跨机并行查询功能还可以用于加速构建B-tree索引。本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍PolarDB-O在执行索引构建时,会首先扫描待构建索引的基表构造出索引项,然后再进一步的根据索引项完成整棵索引树的构建过程。当...

Whale分布式范式剖析

针对Whale支持的几种并行化方式(数据并行、流水并行、Layer间拆分的模型并行、算子拆分的模型并行及各种混合并行策略),本文介绍其实现逻辑及在Whale中的实现方式,指导您快速使用Whale进行分布式训练。数据并行 背景信息对于大规模...

并行度控制策略

AUTO策略AUTO策略下,PolarDB会根据数据库的CPU、内存或IOPS资源的使用率来决定是否禁止并行查询计划,支持在需要并行执行的前提下,自定义并行查询的并行度选择策略。参数 级别 取值 说明 loose_auto_dop_cpu_pct_hwm Global 取值范围:...

分布式执行和并行查询

可以被切分为指定并行度的任务,通过并发执行提高执行效率。一般来说,当并行度提高时,查询的响应时间会缩短,更多的 CPU、IO 和内存资源会被用于执行查询命令。对于支持大数据量查询处理的 DSS(Decision Support Systems)系统或者...

开启时空并行查询

对于大数据量、较复杂的时空查询,Ganos直接利用PG并行查询的能力从而加速时空查询。并行查询原理PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身...

开启时空并行查询

对于大数据量、较复杂的时空查询,Ganos直接利用PG并行查询的能力从而加速时空查询。并行查询原理PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身...

开启时空并行查询

对于大数据量、较复杂的时空查询,Ganos直接利用PG并行查询的能力从而加速时空查询。并行查询原理PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越大,worker数越多,查询时CPU负载越重,对于CPU负载本身...

启动加速-模块并行启动

种:模块并行启动异步初始化方法本文介绍如何通过模块并行启动提高应用启动速度。模块并行启动规则SOFABoot 会根据 模块 properties 配置 中的 Require-Module 属性,计算模块依赖树,根据依赖树确定模块之间的启动顺序。依赖树没有...

并行查询使用限制与串行执行结果兼容问题

本文为您介绍并行查询的使用限制以及与串行执行结果可能不兼容的地方,帮助您正确使用并行查询功能。并行查询的使用限制PolarDB会持续迭代并行查询的能力,目前以下情况暂时无法享受并行查询带来的性能提升:查询系统表或非Innodb表。使用...

快速开始

Whale可以帮助您便捷地进行分布式并行训练,支持各种并行策略混合训练,同时提供多种通信优化方法。本文介绍在Whale中实现分布式并行策略的详细步骤,包括初始化、资源划分、模型划分及硬件资源到逻辑资源的映射,提供了完整示例。同时,...

并行DDL

当数据库硬件资源空闲时,您可以通过并行DDL功能加速DDL执行,避免阻塞后续相关的DML操作,缩短执行DDL操作的窗口期。前提条件PolarDB集群版本需满足如下条件之一:PolarDB MySQL8.0且修订版本为8.0.1.1.7或以上。PolarDB MySQL5.7且修订...

whale.auto_parallel

为了进一步降低使用成本及简化操作,Whale提供了whale.auto_parallel接口,可以通过一代码的简易模式自动进行并行化操作。接口说明 格式auto_parallel(modes)功能通过一代码的简易模式自动进行并行化操作。例如: whale.auto_parallel...

并行查询和Hash Join的并行执行

更多关于并行查询和Hash Join的并行执行的文字说明,请参见并行查询(Parallel Query)和Hash Join的并行执行。

使用跨机并行查询进行分析型查询

配置为指定节点参与跨机并行查询,逗号分隔。例如:SHOW polar_px_nodes polar_px_nodes-(1 row)SET polar_px_nodes='node1,node2';SETSHOW polar_px_nodes;polar_px_nodes-node1,node2(1 row) polar_cluster_map 用于查询当前PolarDB ...

使用跨机并行查询进行分析型查询

配置为指定节点参与跨机并行查询,逗号分隔。例如:SHOW polar_px_nodes polar_px_nodes-(1 row)SET polar_px_nodes='node1,node2';SETSHOW polar_px_nodes;polar_px_nodes-node1,node2(1 row) polar_cluster_map 用于查询当前PolarDB-...

并行步骤

当所有分支执行结束后,可以通过输出映射将分支本地变量数组转换为并行步骤的输出。说明 并行步骤最大分支数限制为100。并行步骤包含以下属性:(必需)type:parallel表示该步骤是并行步骤。(必需)name:步骤名称。(必需)branches:多...

大规模分类的分布式训练(算子拆分)

通过结合算子拆分和数据并行,优化通信拓扑结构解决大规模分类任务无法单机训练或分布式训练性能较差的问题。在Whale中,您可以通过模型划分、资源划分及映射三个步骤,实现大规模分类任务的Fusion模式。背景信息分类问题是机器学习、...

使用并行网关

在任务拓扑中,您可以添加并行网关实现多个节点并行处理效果,满足业务存在多个独立任务需要并行处理的需求,以此提高整体处理性能。本文将快速引导您如何在任务拓扑中使用并行网关。准备拓扑子任务创建两个及以上的简单或集群任务,用...

并行循环步骤

当所有分支执行结束后,可以通过输出映射将迭代本地变量数组转换为并行步骤的输出。说明 并行循环步骤最大并发数限制为100。并行步骤包含以下属性:(必需)type:foreach表示该步骤是并行循环步骤。(必需)name:步骤名称。(必需)...

基本介绍

这些步骤可以组合使用构建复杂的业务逻辑,例如一个并行步骤的分支可以是一个顺序步骤。同时,步骤执行可能出现错误,但是FDL提供了错误重试(retry)和捕获(catch)能力。FDL 的步骤类似于编程语言中的函数(Function),组合类似于...

内核发布日志

修复特定情况下,由于生成查询计划时评估扫描数少于实际扫描数,导致未充分进行并行查询的问题。8.0.1.1.12.2(20210312)类别 说明 问题修复 修复在打开session_track_temporary_tables系统变量的情况下,在存储过程中创建或删除临时...

内核发布日志

修复特定情况下,由于生成查询计划时评估扫描数少于实际扫描数,导致未充分进行并行查询的问题。8.0.1.1.12.2(20210312)类别 说明 问题修复 修复在打开session_track_temporary_tables系统变量的情况下,在存储过程中创建或删除临时...
< 1 2 3 4 ... 122 >
共有122页 跳转至: GO
产品推荐
表格存储 Serverless 工作流 自然语言处理 云服务器 商标 对象存储 SSL证书 短信服务
这些文档可能帮助您
添加安全组规则 商品评价解析 Python SDK 建站零基础入门 重置实例登录密码 通过控制台使用ECS实例(快捷版)

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折