产品优势
超强计算能力 阿里云GPU云服务器配备业界超强算力的GPU计算卡，结合高性能CPU平台，单实例可提供高达1000 TFLOPS的混合精度计算性能。网络性能出色 阿里云GPU云服务器实例的VPC网络最大支持450万的PPS及32 Gbit/s的内网带宽。在此基础上，...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
从0快速搭建个人版“对话大模型”
本教程介绍如何在阿里云GPU云服务器上基于 Alpaca大模型 快速搭建个人版“对话大模型”。背景信息 Alpaca大模型 是一款基于LLaMA的大语言模型，它可以模拟自然语言进行对话交互，并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作...
ACK集群实现GPU AI模型训练
本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一键提交作业...
什么是神行工具包（DeepSpeed）
神行工具包（DeepSpeed）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，您可以基于IaaS产品快速构建企业级服务能力。GPU云服务器搭配神行工具包中的组件可以帮助您更方便、更高效地使用阿里云的云上GPU资源。神行工具包介绍 神...
ACK集群实现基于弹性计算的AI推理
解决问题 使用GPU云服务器搭建推理环境。使用容器服务Kubernetes版构建推理环境。使用NAS存储模型数据。使用飞天AI加速推理工具加速推理。架构图 参考链接 有关基于弹性计算的AI推理的详情，请参见 基于弹性计算的AI推理。
AIGC文本生成视频
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架，实现使用文本生成视频。背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片...
GPU云产品选型决策指引
本文介绍如何根据您的业务情况选择不同的GPU云产品以及应用场景。GPU选型指引请参见以下流程图。关于函数计算Serverless GPU的详细应用场景介绍，请参见以下文档：准实时推理场景 实时推理场景 离线异步调用异步任务场景
创建Windows节点池
请选择非GPU云服务器架构的实例规格。请选择4核8 GB以上的规格。Windows容器在内存使用超出Limitation后并不会执行OOM Killed。从2021年5月起，在v1.16及之后版本的ACK集群，新添加的Windows节点启动时会预留一定的资源（1.5核CPU、2.5 GB ...
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU云服务器 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。...
附录一：运维服务产品清单
ehpc 云计算基础 弹性计算 GPU云服务器 ecsgpu 云计算基础 弹性计算 容器镜像服务 acr 云计算基础 弹性计算 弹性裸金属服务器 xdragon 云计算基础 弹性计算 超级计算集群 scc 云计算基础 弹性计算 专有宿主机 ddh 云计算基础 弹性计算 容器...
基于AIACC加速器快速实现Stable Diffusion生成特定...
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ControlNet框架，快速生成特定物体图片。背景信息 Stable Diffusion（简称SD）是一种AI模型，它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的图像。DreamBooth 是一...
功能发布记录
最新一代GPU云主机gn6v（V100机型）正式售卖。2018-09-12 全部 实例规格族 2018年3月 功能名称 功能描述 发布时间 发布地域 相关文档 GPU实例 支持NGC GPU加速容器。2018-03-28 全部 在gn5实例上部署NGC环境 2017年2月 功能名称 功能描述 ...
使用Megatron-Deepspeed训练GPT-2并生成文本
本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，...
ASP协议
对于无快速持续变化的场景（例如文档基本操作、网页浏览）和有快速持续变化的场景（例如视频播放、游戏），ASP协议构建的流化引擎可以智能地根据场景选择流化路径，支持普通云电脑和GPU云电脑。先进的压缩算法 云电脑内的屏幕内容往往是...
【公告】无影云电脑新增企业办公型、企业图形型云电脑...
企业图形型是一种GPU云电脑，暂不支持升降配。适用于以下场景：云游戏的云端实时渲染 AR和VR的云端实时渲染 AI（DL和ML）推理，适合弹性部署含有AI推理计算应用的互联网业务 深度学习的教学练习环境 深度学习的模型实验环境
新功能发布记录
阿里云客户端是由阿里云官方推出的客户端工具，提供了对云服务器ECS、弹性容器实例ECI、轻量应用服务器、阿里云托管实例的资源浏览、查找、远程连接等功能。2022-07-08 全部 阿里云客户端概述 2022年06月 功能名称 功能概述 发布时间 发布...
产品优势
对于无快速持续变化的场景（例如文档基本操作、网页浏览）和有快速持续变化的场景（例如视频播放、游戏），ASP协议构建的流化引擎可以智能地根据场景选择流化路径，支持普通云电脑和GPU云电脑。先进的压缩算法 云电脑内的屏幕内容往往是...
配置共享GPU调度节点选卡策略
配置项 说明 实例规格 架构 选择 GPU云服务器 选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
NVIDIA驱动安装指引
驱动类型 阿里云GPU实例支持安装以下两种NVIDIA驱动：GPU驱动：用于驱动物理GPU。GRID驱动：用于获得图形加速能力。驱动的类型以及安装方式受业务场景、实例规格、操作系统等因素影响，示意图如下所示。不同实例驱动安装指引 GPU计算型实例...
什么是计算优化编译器AIACC-AGSpeed
Speeding）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，AIACC-AGSpeed是AIACC 2.0产品的实现，是完全独立的产品...
（推荐）使用EAIS提供的镜像快速部署Stable-Diffusion
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
配置共享GPU调度仅共享不隔离策略
配置项 说明 实例规格 架构 选择 GPU云服务器 选择多个GPU实例规格。本文以使用GPU卡V100为例进行说明。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点标签 单击 添加如下记录：键 为 ack.node.gpu.schedule，值 ...
（推荐）使用EAIS提供的镜像快速部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
使用EAIS实例部署ChatGLM2-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
NVIDIA驱动安装指引
驱动类型 阿里云GPU实例支持安装以下两种NVIDIA驱动：GPU驱动：用于驱动物理GPU。GRID驱动：用于获得图形加速能力。驱动的类型以及安装方式受业务场景、实例规格、操作系统等因素影响，示意图如下所示。说明 上述GPU实例规格仅罗列出在售的...
安装和使用AIACC-ACSpeed
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x或Ubuntu 16.04以上版本。已安装NVIDIA Driver和CUDA 10.0或以上版本。支持的版本列表 AIACC-ACSpeed（本文简称ACSpeed）v1.1.0支持...
验证环境 IAAS 资源配置说明
值需和该实例规格对应的机器配置对齐 gpu:/GPU 相关配置 driver:/GPU 驱动配置 CUDAVersion:10.1.168 driverVersion:450.80.02 cuDNNVersion:8.0.4 required:1/GPU 数 specType: NVIDIA P4/GPU 规格，如 NVIDIA T4,NVIDIA P4,NVIDIA A30 等...
使用EAIS软件包手动部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本： 在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
手动安装AIACC-Inference（AIACC推理加速）ONNX版
前提条件 已创建阿里云GPU实例：实例规格：配备NVIDIA P100、V100、A100或T4 GPU 说明 更多信息，请参见 实例规格族。实例镜像：Ubuntu 16.04 LTS或CentOS 7.x GPU实例已安装：Python 3.6 CUDA 10.0、10.2或者11.0 cuDNN 7.6或以上版本 ...
AIACC-ACSpeed体验示例
已创建具有初始Python环境的阿里云GPU实例。背景信息 本文以原生DDP的启动方式运行 Pytorch_ddp_benchmark.py 文件，模型为resnet50的amp混合精度训练为例，通过适配AIACC-ACSpeed（简称ACSpeed）v1.0.2来体验单机8卡和多机多卡实例类型的...
ack-ai-installer
在共享GPU调度的基础上，ack-ai-installer（cgpu-installer）还结合了阿里云GPU容器共享技术cGPU，支持GPU显存隔离，使不同的应用程序或进程在GPU内存中相互隔离，避免各个任务之间相互干扰，提高整个系统的性能和效率。同时，ack-ai-...
手动安装AIACC-Inference（AIACC推理加速）TensorFlow...
前提条件 已创建阿里云GPU实例：实例规格：配备NVIDIA A100、A10、V100或T4 GPU。实例镜像：Ubuntu 18.04、Ubuntu 16.04、CentOS 8.x或CentOS 7.x。已安装GPU实例：Python 3.6或Python 3.7。CUDA 10。cuDNN 7.4或以上版本。背景信息 AIACC-...
安装和使用AIACC-AGSpeed
AIACC-AGSpeed（简称AGSpeed）专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。前提条件 已创建阿里云GPU实例，且...
基于AIACC加速器快速实现LLaMA-7B指令微调
AIACC-AGSpeed（简称AGSpeed）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，可以实现计算优化。什么是计算优化编译器AIACC-AGSpeed 重要 阿里云不对...
修复NVIDIA GPU驱动漏洞CVE-2021-1056公告
Kubernetes集群中如果存在阿里云GPU（EGS）的节点，都有可能存在该漏洞。本文介绍该漏洞的背景信息、影响范围和解决方案。背景信息 漏洞CVE-2021-1056是NVIDIA GPU驱动程序与设备隔离相关的安全漏洞。当容器以非特权模式启动，攻击者利用这...
使用GPU拓扑感知调度（Tensorflow版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena 已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
基于AIACC加速器快速实现AIGC绘画
本文基于阿里云GPU服务器和Stable Diffusion的WebUI框架，指导您如何基于AIACC加速器快速实现AIGC绘画。重要 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的...
使用GPU拓扑感知调度（Pytorch版）
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena 已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
- 产品推荐
- 这些文档可能帮助您