容器服务GPU监控2.0提供了监控NVLINK带宽的指标，本篇文章将简单介绍一下如何查看这些指标。前提条件为了达到演示效果，本篇文章将利用阿里云容器服务拓扑感知调度能力，在K8S集群中提交一个拓扑感知任务。集群环境准备请参考阿里云容器服务拓扑感知调度，这里将不再说明。提交任务使用Arena向k8s集群提交一个tensorflow任务...

文章 2022-09-09 来自：开发者社区

阿里云容器服务GPU监控2.0基础篇1：基本功能使用

容器服务GPU监控2.0基于NVIDIA DCGM实现对集群GPU节点的全方位监控，您可以通过它监控：集群维度的GPU资源使用情况，包括利用率、显存使用、XID错误检测等节点池维度的GPU资源使用情况，包括利用率、显存使用、XID错误检测等节点维度的GPU资源使用情况，包括利用率、显存使用、温度与功率、Profiling等Po...

文章 2022-09-09 来自：开发者社区

阿里云容器服务GPU监控2.0基础篇3：监控NVIDIA XID错误

XID错误消息是NVIDIA驱动报告的错误信息，一般会将错误消息记录在/var/log/messages（或使用dmesg -T查看），如果一个节点有XID错误消息，说明节点发生了与GPU有关的错误，这个错误有可能是由于GPU硬件故障引起，也有可能是软件问题引起的（比如：...

文章 2022-09-09 来自：开发者社区

阿里云容器服务GPU监控2.0进阶篇2：学会剖析（Profiling）您的GPU使用情况

本系列相关文章：阿里云容器服务GPU监控2.0基础篇1：基本功能使用阿里云容器服务GPU监控2.0基础篇2：监控NVLINK带宽阿里云容器服务GPU监控2.0基础篇3：监控NVIDIA XID错误阿里云容器服务GPU监控2.0进阶篇1：剖析（Profiling）GPU使用情况必备知识阿里云容器服务G...

文章 2022-09-09 来自：开发者社区

阿里云容器服务共享GPU调度支持算力分配

ACK Pro集群支持为应用申请GPU显存和算力，能够帮助您更精细化的使用GPU的显存和算力资源。本文介绍如何使用算力分配功能。前提条件已创建ACK Pro版集群，且集群版本为1.20.11。关于Kubernetes的升级操作，请参见升级ACK集群K8s版本。已安装共享GPU组件，且Chart版本>1.2.0。关于安装共享GPU组件的...