文章 2025-05-06 来自:开发者社区

在AMD GPU上部署AI大模型:从ROCm环境搭建到Ollama本地推理实战指南

在人工智能和机器学习领域,NVIDIA 公司凭借其 CUDA 计算生态系统和高性能 GPU 架构,已成为大型语言模型(LLM)训练与推理的主导力量。从基础实验到前沿研究,NVIDIA 的技术方案几乎成为了行业标准。作为其主要竞争对手,AMD(YES!)在 AI 计算领域的发展潜力值得关注。 AMD 在 CPU 和 GPU 市场已深耕多年。在处理器领域,AMD 不仅与英特尔形成有效竞争,近期在数据....

在AMD GPU上部署AI大模型:从ROCm环境搭建到Ollama本地推理实战指南
文章 2024-03-28 来自:开发者社区

【多GPU炼丹-绝对有用】PyTorch多GPU并行训练:深度解析与实战代码指南

a. 数据拆分,模型不拆分 b. 数据不拆分,模型拆分 c. 数据拆分,模型拆分 在深度学习的炼丹之路上,多GPU的使用如同助燃剂,能够极大地加速模型的训练和测试。根据不同的GPU数量和内存配置,我们可以选择多种策略来充分利用这些资源。今天,我们将围绕“多GPU炼丹”这一主题,深度解析PyTorch多GPU并行训练的技巧,并为大家带来实战代码指南。在这个过程中,我们将不断探讨和展示如何...

【多GPU炼丹-绝对有用】PyTorch多GPU并行训练:深度解析与实战代码指南
文章 2024-03-25 来自:开发者社区

【PyTorch&TensorBoard实战】GPU与CPU的计算速度对比(附代码)

0. 前言 按照国际惯例,首先声明:本文只是我自己学习的理解,虽然参考了他人的宝贵见解,但是内容可能存在不准确的地方。如果发现文中错误,希望批评指正,共同进步。 本文基于PyTorch通过tensor点积所需要的时间来对比GPU与CPU的计算速度,并介绍tensorboard的使用方法。 我在前面的科普文章——GPU如何成为AI的...

【PyTorch&TensorBoard实战】GPU与CPU的计算速度对比(附代码)
文章 2023-12-21 来自:开发者社区

实战 Google Colab,一起用 GPU

今天一起来看看尝试下 Google Colab 工具,一款由 Google 出品,免费面向大众的、可使用 GPU、TPU 来训练模型的给力在线工具!!初识 Google Colab首先,你需要有一个 Google 账号,然后访问下面的网址,登陆谷歌账号即可。https://colab.research.google.com/notebooks/welcome.ipynb(可能某些小伙伴需要梯子,....

实战 Google Colab,一起用 GPU
文章 2023-10-14 来自:开发者社区

美团视觉GPU推理服务部署架构优化实战

博主 libin9iOak带您 Go to New World.✨ 个人主页——libin9iOak的博客 《面试题大全》 文章图文并茂生动形象简单易学!欢迎大家来踩踩~ 《IDEA开发秘籍》学会IDEA常用操作,工作效率翻倍~ 希望本文能够给您带来一定的帮助文章粗浅,敬请批评指正!摘要1.视觉模型服务部署面临的问题与挑战2.GPU服务性能优化实践案例3.通用高效的推理服务部署架构1.视觉模型.....

美团视觉GPU推理服务部署架构优化实战
文章 2023-05-08 来自:开发者社区

【Pytorch神经网络实战案例】01 CIFAR-10数据集:Pytorch使用GPU训练CNN模版-方法①

import torch import torchvision from torch import nn from torch.utils.tensorboard import SummaryWriter from torch.utils.data import DataLoader # 取消全局证书验证(当项目对安全性问题不太重视时,推荐使用,可以全局取消证书的验证,简易方便) import ....

文章 2023-05-08 来自:开发者社区

【Pytorch神经网络实战案例】02 CIFAR-10数据集:Pytorch使用GPU训练CNN模版-方法②

import torch import torchvision from torch import nn from torch.utils.tensorboard import SummaryWriter from torch.utils.data import DataLoader # 取消全局证书验证(当项目对安全性问题不太重视时,推荐使用,可以全局取消证书的验证,简易方便) import ....

文章 2023-05-08 来自:开发者社区

【Pytorch神经网络实战案例】03 CIFAR-10数据集:Pytorch使用GPU训练CNN模版-测试方法

import torch import torchvision from PIL import Image from torch import nn image_path="./test_img/dog.png" image=Image.open(image_path) print(image) #size=406x479 所以需要转换 # png格式是四个通道,除了RGB三通道外,还有一个透明....

文章 2022-05-19 来自:开发者社区

实战 Google Colab,一起用 GPU

初识 Google Colab首先,你需要有一个 Google 账号,然后访问下面的网址,登陆谷歌账号即可。https://colab.research.google.com/notebooks/welcome.ipynb(可能某些小伙伴需要梯子,不过相信这些都难不倒勇于探索的你。)Google Colab 是基于 Jupyter 编辑器的云端运行环境,意味着我们可以共享代码给其他人共同享用。打....

实战 Google Colab,一起用 GPU
文章 2017-08-02 来自:开发者社区

DeepLearning4j 实战:手写体数字识别的 GPU 实现与性能对比

在之前的博客中已经用单机、Spark分布式两种训练的方式对深度神经网络进行训练,但其实DeepLearning4j也是支持多GPU训练的。 这篇文章我就总结下用GPU来对DNN/CNN进行训练和评估过程。并且我会给出CPU、GPU和多卡GPU之前的性能比较图表。不过,由于重点在于说明Mnist数据集在GPU上训练的过程,所以对于一些环境的部署,比如Java环境和CUDA的安装就不再详细说明了。 ....

DeepLearning4j 实战:手写体数字识别的 GPU 实现与性能对比

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

做技术先进、性能优异、稳如磐石的弹性计算!

+关注