什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，您可以基于IaaS产品快速构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便、更高效地使用阿里云的云上GPU资源。神行工具...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
AIGC文本生成视频
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架，实现使用文本生成视频。背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片...
从0快速搭建个人版“对话大模型”
本教程介绍如何在阿里云GPU云服务器上基于 Alpaca大模型 快速搭建个人版“对话大模型”。背景信息 Alpaca大模型 是一款基于LLaMA的大语言模型，它可以模拟自然语言进行对话交互，并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作...
基于AIACC加速器快速实现Stable Diffusion生成特定...
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ControlNet框架，快速生成特定物体图片。背景信息 Stable Diffusion（简称SD）是一种AI模型，它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的图像。DreamBooth 是一...
ACK集群实现GPU AI模型训练
本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一键提交作业...
ACK集群实现基于弹性计算的AI推理
解决问题 使用GPU云服务器搭建推理环境。使用容器服务Kubernetes版构建推理环境。使用NAS存储模型数据。使用飞天AI加速推理工具加速推理。架构图 参考链接 有关基于弹性计算的AI推理的详情，请参见 基于弹性计算的AI推理。
基于AIACC加速器快速实现AIGC绘画
本文基于阿里云GPU服务器和Stable Diffusion的WebUI框架，指导您如何基于AIACC加速器快速实现AIGC绘画。重要 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的...
部署GPU云服务器
GPU实例作为云服务器ECS的一类异构实例...部署完成后，单击GPU云服务器实例名称跳转到ECS控制台，通过Workbench远程连接GPU实例。可以看到AIACC-Training、AIACC-Inference已经安装完成。执行以下命令，确认NVIDIA 驱动已安装完成。nvidia-smi
创建Windows节点池
请选择非GPU云服务器架构的实例规格。请选择4核8GB以上的规格。Windows容器在内存使用超出Limitation后并不会执行OOM Killed。从2021年5月起，在v1.16及之后版本的ACK集群，新添加的Windows节点启动时会预留一定的资源（1.5核CPU、2.5 GB ...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
阿里云异构计算产品总览
GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
RAPIDS加速机器学习最佳实践
本方案适用于使用RAPIDS加速库和GPU云服务器来对机器学习任务或者数据科学任务进行加速的场景。相比CPU，利用GPU和RAPIDS在某些场景下可以取得非常明显的加速效果。解决的问题 搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署R...
RAPIDS加速图像搜索最佳实践
本方案适用于使用RAPIDS加速平台和GPU云服务器来对图像搜索任务进行加速的场景。相比CPU，利用GPU+RAPIDS在图像搜索场景下可以取得非常明显的加速效果。解决的问题 搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版部署图像搜索环境...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
使用AIACC-Training（AIACC训练加速）加速BERT ...
本方案适用于自然语言训练场景，使用GPU云服务器和极速型NAS进行BERT Finetune模型训练，使用AIACC-Training（AIACC训练加速）可以有效提升多机多卡的训练效率。实现的方式 使用GPU云服务器搭建训练环境。使用极速型NAS存储共享训练数据。...
directx-device-plugin-windows
在阿里云上使用虚拟化GPU云服务器时，directx-device-plugin-windows可以为Windows容器提供基于DirectX构建的GPU加速功能。关于虚拟化GPU云服务器的详细介绍，请参见 GPU虚拟化型。directx-device-plugin-windows仅支持v1.20.4及其以上版本...
配置共享GPU调度节点选卡策略
配置项 说明 实例规格 架构 选择 GPU云服务器 选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
客户案例
网关部署及应用最佳实践》《云速搭部署&GPU&云服务器》 云上会展有限公司立足于打造线上会展数字基础设施，充分发挥阿里巴巴集团在人工智能、数据技术、云计算等方面的积累，集成阿里巴巴商业操作系统的全域数字化运营能力。在云上会展数字...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
（推荐）使用EAIS提供的镜像快速部署Stable-Diffusion
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
配置共享GPU调度仅共享不隔离策略
配置项 说明 实例规格 架构 选择 GPU云服务器 选择多个GPU实例规格。本文以使用GPU卡V100为例进行说明。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点标签 单击 添加如下记录：键 为 ack.node.gpu.schedule，值 ...
（推荐）使用EAIS提供的镜像快速部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
使用EAIS实例部署ChatGLM2-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
使用EAIS软件包手动部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
使用GPU拓扑感知调度（Tensorflow版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena 已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
使用GPU拓扑感知调度（Pytorch版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena 已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
内置时空数据引擎Ganos
Ganos支持各类空间栅格型数据的导入导出、拼接、剪切、统计分析等操作，可建模对象包括全色/多光谱/高光谱各类遥感影像、数字高程模型、三维体素模型等，并融合了云上GPU的并行计算加速能力和OSS稳定、高效、低成本的对象存储扩展能力。...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
什么是计算优化编译器AIACC-AGSpeed
Speeding）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，AIACC-AGSpeed是AIACC 2.0产品的实现，是完全独立的产品...
安装和使用Deepytorch
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 18.04或更高版本。已安装NVIDIA Driver、CUDA 11.1或更高版本。已安装Pytorch且满足相应的版本要求。支持的版本列表 ...
GPU AI模型训练最佳实践
本方案适用于AI图片训练场景，使用CPFS/NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。实现的方式 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练服务加速训练。使用Arena一键提交...
安装和使用AIACC-AGSpeed
AIACC-AGSpeed（简称AGSpeed）专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。前提条件 已创建阿里云GPU实例，且...
使用ACK服务实现GPU成本优化
GPU云服务器是基于GPU应用的计算服务，多适用于AI深度学习、视频处理、科学计算、图形可视化等应用场景。更多关于GPU服务器的介绍，请参见 GPU服务器产品详情页。容器服务 ACK 容器服务Kubernetes版（ACK）提供高性能可伸缩的容器应用管理...
基于AIACC加速器快速实现LLaMA-7B指令微调
AIACC-AGSpeed（简称AGSpeed）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，可以实现计算优化。什么是计算优化编译器AIACC-AGSpeed 重要 阿里云不对...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
GPU云产品选型决策指引
本文介绍如何根据您的业务情况选择不同的GPU云产品以及应用场景。GPU选型指引请参见以下流程图。关于函数计算Serverless GPU的详细应用场景介绍，请参见以下文档：准实时推理场景 实时推理场景 离线异步调用异步任务场景
- 产品推荐
- 这些文档可能帮助您