批量计算

批量计算(BatchCompute)是一种适用于大规模并行处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,按实际使用量计费。

Whale分布式范式剖析

针对Whale支持的几种并行化方式(数据并行、流水并行、Layer间拆分的模型并行子拆分的模型并行及各种混合并行策略),本文介绍其实现逻辑及在Whale中的实现方式,以指导您快速使用Whale进行分布式训练。数据并行 背景信息 对于大规模...

文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

大规模分类的分布式训练(子拆分)

本文针对大规模分类场景存在的问题,介绍Whale的并行化设计和方案。通过结合子拆分和数据并行,优化通信拓扑结构,以解决大规模分类任务无法单机训练或分布式训练性能较差的问题。在Whale中,您可以通过模型划分、资源划分及映射三个步骤...

BertLarge分布式训练(流水并行

针对业务场景产生的海量训练数据,需要提高大量计算资源并行处理,因此还需要采用数据并行解决大规模数据问题。在流水并行的基础上增加数据并行后的计算图如下所示。上图中以3个Worker为例,每个Worker拥有3个GPU。Whale将每个Worke内的...

并行网关

在拓扑任务中,您可以添加并行网关实现多个节点并行处理效果,满足业务存在多个独立任务需要并行处理的需求,以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤创建拓扑子任务。创建两个或两个以上的简单或...

媒体处理

阿里云媒体处理(ApsaraVideo Media Processing,原MTS)是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法,将多媒体数据转码成适合在全平台播放的格式。基于海量数据深度学习,对媒体的内容、文字、语音、场景多模态分析...

云原生数仓 AnalyticDB PostgreSQL

兼容Greenplum开源数据仓库,MPP全并行架构,广泛兼容PostgreSQL/Oracle的语法生态,新一代向量引擎性能超越传统数据库引擎10倍以上,分布式SQL优化器实现复杂查询语句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索,是各...

自然语言处理

自然语言处理(Natural Language Processing,简称NLP),是为各类企业及开发者提供的用于文本分析及挖掘的核心工具,已经在客服、资讯、金融、司法、医疗等场景有广泛的应用。

并行查询(Parallel Query)

Query)利用多核CPU的并行处理能力,以8核32 GB(独享规格)的PolarDB MySQL引擎集群版为例,示意图如下所示。前提条件 如何查看集群版本,请参见查询版本号。应用场景 并行查询适用于部分SELECT语句,例如表查询、多表连接查询、计算...

并行查询(Parallel Query)

Query)利用多核CPU的并行处理能力,以8核32 GB(独享规格)的PolarDB MySQL引擎集群版为例,示意图如下所示。前提条件 如何查看集群版本,请参见查询版本号。应用场景 并行查询适用于部分SELECT语句,例如表查询、多表连接查询、计算...

分布式执行和并行查询

负载较低充足的内存资源如果系统没有充足的资源进行额外的并行处理使用并行查询或者提高并行度不能提高执行性能。相反,在系统过载的情况下,操作系统会被迫进行更多的调度,例如,执行上下文切换或者页面交换,可能会导致性能的下降。...

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上以提升性能。适用...

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上以提升性能。适用...

并行操作

Ganos支持利用多个CPU提升查询或计算性能,这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划,将执行任务分配到多个CPU上以提升性能。适用...

产品概述

什么是批量计算批量计算(BatchCompute)是一种适用于大规模并行处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,按实际使用量计费。通俗的讲,就是您可以提交一个任意的...

通过Hint控制

(默认10000)时,会强制并行,-并行系统默认max_parallel_degree,如果max_parallel_degree>0, 则打开并行,如果max_parallel_degree等于0时,依旧时关闭并行。SELECT/*+PARALLEL(8)*/*FROM t1, t2;强制并行度8并行执行,-当表记录...

并行度控制策略

AUTO策略下,PolarDB会根据数据库的CPU、内存或IOPS资源的使用率来决定是否禁止并行查询计划,支持在需要并行执行的前提下,自定义并行查询的并行度选择策略。参数 级别 取值 说明 loose_auto_dop_cpu_pct_hwm Global 取值范围:0~100 ...

对分区表使用机并行查询

PolarDB O引擎支持对分区表使用机并行查询的功能。通过对分区表使用机并行查询,提升数据库的性能。功能介绍 当前对分区表使用机并行查询支持的功能如下所示:支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行...

开启时空并行查询

对于数据量、较复杂的时空查询,Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越,worker数越多,查询时CPU负载越重,对于CPU负载...

开启时空并行查询

对于数据量、较复杂的时空查询,Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越,worker数越多,查询时CPU负载越重,对于CPU负载...

开启时空并行查询

对于数据量、较复杂的时空查询,Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行,其并行查询示意图如下。注意事项 并行查询的worker数量越,worker数越多,查询时CPU负载越重,对于CPU负载...

并行查询使用限制与串行执行结果兼容问题

本文为您介绍并行查询的使用限制以及与串行执行结果可能不兼容的地方,帮助您正确使用并行查询功能。并行查询的使用限制 PolarDB会持续迭代并行查询的能力,目前以下情况暂时无法享受并行查询带来的性能提升:查询系统表或非Innodb表。使用...

音视频弹性处理

可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件,将转换后的文件存储到对象存储的指定目录中。方案实施如下:上传视频...

并行查询

云原生数据仓库AnalyticDB PostgreSQL版提供了单表查询的并行查询功能,本文为您介绍并行查询功能。功能说明 如果您的实例Segment节点是4核及以上规格,单表查询将自动开启并行查询,提升多核并发能力、降低查询时间。系统会通过当前并发数...

并行DDL

多核处理器的发展为并行DDL使用更多线程数提供了硬件支持,而固态硬盘(Solid State Disk,简称SSD)的普及使得随机访问延迟与顺序访问延迟相近,使用并行DDL加速表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads...

快速开始

Whale可以帮助您便捷地进行分布式并行训练,支持各种并行策略混合训练,同时提供多种通信优化方法。本文介绍在Whale中实现分布式并行策略的详细步骤,包括初始化、资源划分、模型划分及硬件资源到逻辑资源的映射,提供了完整示例。同时,...

使用机并行查询进行分析型查询

本文介绍如何使用机并行查询,提升分析型查询的性能。原理介绍 当一条查询请求在查询协调节点上被执行跨机并行查询时,该查询产生的执行计划会被分片路由至各个执行节点,每个执行节点将会执行各自的分片计划,将分片的查询结果汇总至...

使用机并行查询进行分析型查询

PolarDB O引擎支持使用机并行查询功能进行分析型查询,实现一定的HTAP能力。本文介绍如何使用机并行查询,提升分析型查询的性能。原理介绍 当一条查询请求在查询协调节点上被执行跨机并行查询时,该查询产生的执行计划会被分片路由至...

概述

PolarDB O引擎提供了跨机并行查询(Parallel Execution)的功能,支持多个计算节点分布式地执行SQL查询,加速PolarDB O引擎的分析型查询性能,充分发挥存储层PolarFileSystem的高I/O吞吐能力,以及提高所有计算节点的CPU和内存资源的使用率...

数据处理

不同处理方法可连接不同的上游节点,实现数据并行处理。表 2.配置项说明 参数 说明 处理方法 编写JavaScript函数体,返回结果可为任意类型。表格中仅提供其他配置中的参数说明,其他参数配置请参见公共参数说明。输出结果:每个处理方法对...

倍速转码

说明 分片并行处理指需要对原始文件分析后分割切片,在分片转码后合并成一个文件。常见问题 任务提交后找不到对应任务。可能是任务失败导致的,可在转码页签下筛选转码状态,查看转码失败的任务。创建工作流时提示资源配额已被完。每个...

域名

域名(Domain Name),是由一串点分隔的字符组成的Internet上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置,有行政自主权的一个地方区域)。

软件著作权登记

阿里云为计算机软件开发企业或申请人提供计算机软件著作权登记申请的服务

卫星及无人遥感影像分析产品

analysis)依托于阿里巴巴在深度学习,计算机视觉方向上的技术积累,采用基于深度学习的多尺度融合检测技术,实现了卫星及无人影像中的变化特征及建筑、土地、河流等多种目标信息的智能解译,能够改变传统遥感数据处理耗时长、效率低等...

云原生多数据库 Lindorm

Lindorm是一款适用于任何规模、多种模型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,提供宽表、时序、搜索、文件等多种数据模型,兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口,是互联网...

并行查询和Hash Join的并行执行

更多关于并行查询和Hash Join的并行执行的文字说明,请参见并行查询(Parallel Query)和Hash Join的并行执行。

应用场景

Serverless工作流,Serverless工作流利用函数计算对多个Shard的计量数据做并行处理将结果分别写回日志服务;然后可以将所有Shard产生文件进行聚合,写入表格存储,最后为您生成账单。Serverless工作流支持对流程中的单个步骤失败进行重...

概述

PolarDB PostgreSQL引擎提供了跨机并行查询(Parallel Execution)的功能,支持多个计算节点分布式地执行SQL查询,加速PolarDB PostgreSQL引擎的分析型查询性能,充分发挥存储层PolarFileSystem的高I/O吞吐能力,以及提高所有计算节点的CPU...

应用场景

以大型互联网公司为例,每天处理的数据量级都在PB,每天更新的网页以亿,每24小时更新的日志超过PB,因此需要大型的集群处理大规模的数据。在处理大规模数据时,数据仓库的性能直接影响数据本身的处理能力。f3实例得益于FPGA细颗粒度的...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折