RAPIDS加速机器学习最佳实践

本方案适用于使用RAPIDS加速库和GPU云服务器来对机器学习任务或者数据科学任务进行加速的场景。相比CPU,利用GPU和RAPIDS在某些场景下可以取得非常明显的加速效果。解决的问题 搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署R...

RAPIDS加速图像搜索最佳实践

本方案适用于使用RAPIDS加速平台和GPU云服务器来对图像搜索任务进行加速的场景。相比CPU,利用GPU+RAPIDS在图像搜索场景下可以取得非常明显的加速效果。解决的问题 搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版部署图像搜索环境...

使用AIACC-Training(AIACC训练加速)加速BERT ...

本方案适用于自然语言训练场景,使用GPU云服务器和极速型NAS进行BERT Finetune模型训练,使用AIACC-Training(AIACC训练加速)可以有效提升多机多卡的训练效率。实现的方式 使用GPU云服务器搭建训练环境。使用极速型NAS存储共享训练数据。...

GPU AI模型训练最佳实践

本方案适用于AI图片训练场景,使用CPFS/NAS作为共享存储,利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。实现的方式 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练服务加速训练。使用Arena一键提交...

使用ACK服务实现GPU成本优化

GPU云服务器是基于GPU应用的计算服务,多适用于AI深度学习、视频处理、科学计算、图形可视化等应用场景。更多关于GPU服务器的介绍,请参见 GPU服务器产品详情页。容器服务 ACK 容器服务Kubernetes版(ACK)提供高性能可伸缩的容器应用管理...

使用FastGPU进行极速AI训练

GPU云服务器是基于GPU应用的计算服务,多适用于AI深度学习、视频处理、科学计算、图形可视化等应用场景。更多关于GPU服务器的介绍,请参见 GPU服务器产品详情页。文件存储CPFS 文件存储CPFS(Cloud Parallel File Storage),是阿里完全...

什么是神行工具包(DeepGPU)

神行工具包(DeepGPU)是阿里专门为GPU云服务器搭配的GPU计算服务增强工具集合,您可以基于IaaS产品快速构建企业级服务能力。GPU云服务器搭配神行工具包(DeepGPU)中的组件可以帮助您更方便、更高效地使用阿里上GPU资源。神行工具...

什么是GPU云服务器

对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格(vCPU、内存及GPU)支持灵活变更,并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定,无法灵活变更。带宽一次性购买,无法...

云速搭部署GPU云服务器

通过云速搭实现GPU云服务器的部署,这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件,减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...

API参考

如果您熟悉网络服务协议和一种以上编程语言,推荐您调用API管理您的上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致,详情请参见 ECS API简介 和 ECS API概览。

应用场景

GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景,神行工具包(DeepGPU)为了配合GPU云服务器的计算服务增强能力,也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的...

GPU云服务器计费

GPU云服务器计费相关功能与云服务器ECS一致,本文为您介绍GPU云服务器涉及的计费信息。计费项及其计费方式 一台GPU实例包括计算资源(vCPU、内存和GPU)、镜像、块存储等资源,其中涉及计费的GPU资源如下表所示。计费项 计费说明 计费方式 ...

阿里异构计算产品总览

作为阿里弹性计算家族的一员,GPU云服务器结合了GPU计算力与CPU计算力,同时实现GPU计算资源的即开即和弹性伸缩。满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。更多信息,请参见 什么是GPU云服务器。神行工具包...

产品优势

阿里GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式,神行工具包(DeepGPU)是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的优势。...

异构计算产品最佳实践概览

GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License,同时需要将License部署在License Server上,本教程以Ubuntu 18.04操作系统为例,介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...

什么是推理引擎DeepGPU-LLM

DeepGPU-LLM是阿里研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里开发的一套推理引擎,具有易用性...

ACK集群实现GPU AI模型训练

本方案适用于AI图片训练场景,使用CPFS和NAS作为共享存储,利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一键提交作业...

创建配备GPU驱动的GPU实例(Linux)

实例通过添加系统盘、数据盘和共享盘NAS获得存储能力,云服务器ECS提供了盘和本地盘满足不同场景的需求。盘可以用作系统盘和数据盘,包括ESSD盘、SSD盘、高效盘等类型。更多信息,请参见 盘概述。说明 随实例一起创建的盘和...

AIGC文本生成视频

本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ModelScope框架,实现使用文本生成视频。背景信息 自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片...

ACK集群实现基于弹性计算的AI推理

解决问题 使用GPU云服务器搭建推理环境。使用容器服务Kubernetes版构建推理环境。使用NAS存储模型数据。使用飞天AI加速推理工具加速推理。架构图 参考链接 有关基于弹性计算的AI推理的详情,请参见 基于弹性计算的AI推理。

接入Nvidia GPU监控数据

Nvidia GPU服务器中提供多项监控指标,您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中,进行可视化展示。前提条件 已创建实例。具体操作,请参见 创建实例。步骤一:安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...

准实时推理场景

与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情,请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次,每次为1秒钟,使用4 GB显存规格的GPU实例(模型大小为3 GB左右)。您的日均资源利用率(仅时间...

快速搭建AI对话机器人

本文介绍如何使用阿里云GPU云服务器,基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型,它基于General Language Model(GLM)架构,具有62亿参数;并使用了和ChatGPT相似的技术...

应用场景

推荐搭配使用:云服务器 ECS/GPU 服务器 EGS/高性能计算服务(Alibaba Cloud HPC)+容器服务+对象存储 OSS/文件存储 NAS/CPFS 相关文档:PyTorch分布式训练 TensorFlow分布式训练 微服务架构 实现敏捷开发和部署落地,加速企业业务迭代...

安装GPU拓扑感知调度组件

Pro集群,且集群的实例规格类型选择为 GPU云服务器。更多信息,请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 Nvidia 418.87.01...

directx-device-plugin-windows

在阿里上使用虚拟化GPU云服务器时,directx-device-plugin-windows可以为Windows容器提供基于DirectX构建的GPU加速功能。关于虚拟化GPU云服务器的详细介绍,请参见 GPU虚拟化型。directx-device-plugin-windows仅支持v1.20.4及其以上版本...

创建Windows节点池

请选择非GPU云服务器架构的实例规格。请选择4核8GB以上的规格。Windows容器在内存使用超出Limitation后并不会执行OOM Killed。从2021年5月起,在v1.16及之后版本的ACK集群,新添加的Windows节点启动时会预留一定的资源(1.5核CPU、2.5 GB ...

准实时推理场景

与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情,请参见 产品计费。示例一 假设您的GPU函数一天调用量为3600次,每次为1秒钟,使用4 GB显存规格的GPU实例(模型大小为3 GB左右)。您的日均资源利用率(仅时间维度,...

ACK集群实现弹性裸金属AI训练

本方案使用了SCC超级计算集群,采用弹性裸金属GPU服务器、并行文件系统CPFS、RDMA网络、阿里容器服务Kubernetes版和飞天AI加速训练工具,提供性能稳定的训练环境,保障业务能力。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据...

从0快速搭建个人版“对话大模型”

本教程介绍如何在阿里云GPU云服务器上基于 Alpaca大模型 快速搭建个人版“对话大模型”。背景信息 Alpaca大模型 是一款基于LLaMA的大语言模型,它可以模拟自然语言进行对话交互,并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作...

安装共享GPU调度组件

ACK Pro集群的实例规格架构设置为 GPU云服务器 其他配置,请参见 创建ACK集群Pro版。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。目前GPU隔离模块cGPU 1.5.0以下版本不...

基本概念

节点即计算节点,是经灵骏优化套件加速的高性能的GPU服务器,用户可以选择其上部署的操作系统(OS),目前支持CentOS 7.9。优化套件 灵骏提供的适合大规模并行计算集群优化组件的集合,包括数据加载优化、集合通信优化、计算资源优化、网络...

使用Megatron-Deepspeed训练GPT-2并生成文本

本文介绍如何使用GPU云服务器,使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型,当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落,...

基于AIACC加速快速实现Stable Diffusion生成特定...

本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ControlNet框架,快速生成特定物体图片。背景信息 Stable Diffusion(简称SD)是一种AI模型,它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的图像。DreamBooth 是一...

产品优势

高可用性 E-HPC集群节点基于云服务器ECS、超级计算集群SCC和GPU云服务器组建,大大提高了集群的可用性。结果可视 E-HPC提供可视化服务功能,您可以通过可视化服务功能将计算结果转换为可读的图形化数据。例如您可以直接观看渲染后的动画...

计费概述

费用:函数调用费用+vCPU使用费用+内存使用费用+GPU使用费用=29845元 使用单实例多并发降低成本 阿里 函数计算 支持单实例多并发。当请求并发量大时,可以复用资源,帮助您节省费用。更多信息,请参见 设置实例并发度。假设您需要处理...

使用产品前的准备工作

ACK 容器服务 ECS 云服务器 任务中包含需要使用GPU的算子 GPU 云服务器 数据检索 标签检索 ElasticSearch 检索分析服务 以图搜图/语义检索 Lindorm 原生多模数据库 自定义算子 将自研的算法镜像上传到平台,参与计算任务 ACR 代码仓库 1)...

配置共享GPU调度节点选卡策略

配置项 说明 实例规格 架构 选择 GPU云服务器 选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下,节点选卡策略才能看出效果,建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点,可以填写为0。节点...

自助诊断GPU节点问题

ACK集群提供节点级别的GPU诊断功能,供您进行部分GPU相关问题的故障排查。如果您在ACK Pro版集群中使用GPU节点时遇到问题,可以启用GPU节点自助诊断,采集GPU诊断的基础指标进行问题排查。本文介绍如何使用节点诊断功能,自助排查GPU节点...

云服务器ECS对比

如果您需要使用更丰富的实例类型,如通用型、计算型、大数据型、弹性裸金属服务器GPU/FPGA/NPU异构计算型等,支持高并发网站、视频编解码、大型游戏、复杂分布式集群应用等业务场景,请使用云服务器ECS产品。关于云服务器ECS的更多实例...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
GPU 云服务器 轻量应用服务器 云服务器 ECS 负载均衡 弹性公网 IP 阿里云物联网平台
新人特惠 爆款特惠 最新活动 免费试用