阿里云文档 2025-02-13

使用DeepNCCL加速模型的分布式训练或推理性能

DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。

阿里云文档 2025-01-21

借助TensorRT优化模型推理性能

TensorRT优化模型过程,首先将PyTorch(或TensorFlow)等训练框架训练完成后的模型编译为TensorRT的格式,然后利用TensorRT推理引擎运行这个模型,从而提升这个模型在英伟达GPU上运行的速度,适用于对实时性要求较高的场景。那么该如何借助TensorRT优化模型推理性能呢?本文将演示模型训练编译过程,然后介绍一些TensorRT常用的模型推理性能优化建议。

文章 2025-01-15 来自:开发者社区

基于英特尔平台加速 AI 应用及 LLM 推理性能介绍|龙蜥大讲堂第115期

基于英特尔平台加速 AI 应用及 LLM 推理性能介绍|龙蜥大讲堂第115期 内容介绍 1. 第五代英特尔至强处理器 2. LLM 推理加速框架 xFast Transformer 及其优化策略 3. 性能数据及 Demo 展示  ...

基于英特尔平台加速 AI 应用及 LLM 推理性能介绍|龙蜥大讲堂第115期
阿里云文档 2024-11-13

为KServe配置Prometheus监控以监控模型服务的性能和健康状况

KServe提供了一套默认的Prometheus指标来帮助您监控模型服务的性能和健康状况。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何为KServe框架配置Prometheus监控。

阿里云文档 2024-09-02

OSS Connector在AI/ML数据集处理中的性能表现

在进行大规模机器学习或深度学习项目时,数据的高效加载与处理是提升整体训练效率的关键因素之一。本文通过对比分析在使用OSS内网域名与启用OSS加速器的情况下,不同数据集构建方法(OssIterableDataset、OssMapDataset、结合Ossfs和ImageFolder)的性能差异,旨在为用户提供数据访问策略的优化指南。

阿里云文档 2024-05-09

AI通信加速库DeepNCCL的架构、性能以及优化原理

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍DeepNCCL的架构、优化原理和性能说明。

文章 2024-01-22 来自:开发者社区

阿里云推出第八代企业级实例 g8i:AI 推理性能最高提升 7 倍、可支持 72B 大语言模型

1 月 11 日,全球领先的云计算厂商阿里云宣布推出第八代企业级通用计算实例 ECS g8i,这也是国内首款搭载第五代英特尔至强可扩展处理器(代号 EMR)的云计算产品。依托阿里云自研的「飞天+CIPU」架构体系,ECS g8i 实例的整机性能最高提升 85%,AI 推理性能最高提升 7 倍,可支撑高达 72B 参数的大语言模型,为 AI 提速,同时新实例还提供了端到端安全防护,为企业构建可信 ....

阿里云推出第八代企业级实例 g8i:AI 推理性能最高提升 7 倍、可支持 72B 大语言模型
文章 2024-01-17 来自:开发者社区

AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!

今天,阿里云正式发布第八代企业级通用计算实例ECS g8i,基于阿里云自研「飞天+CIPU」架构体系和第五代英特尔至强可扩展处理器,g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型,帮助中小规模模型起建成本降低50%。同时新款实例还提供了端到端安全防护,为企业构建可信AI应用提供强有力的隐私增强算力支撑。01通用算力再提升,整机性能提升85%作为企业....

AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!
文章 2022-02-17 来自:开发者社区

瀚博首款AI推理芯片出炉,性能超越英伟达T4,年内即将量产

7 月 7 日,在上海举行的首场发布会上,芯片创业公司瀚博半导体展示了旗下最新产品,SV100 系列云端通用 AI 推理芯片和 VA1 通用 AI 推理加速卡。刚刚推出的芯片实现了业内领先的性能指标。瀚博半导体 CEO 钱军在发布会上展示 SV102 芯片。「我们要做的是服务器级别的芯片,SV100 系列是全方位超过英伟达同类产品的芯片解决方案。」瀚博半导体创始人、CEO 钱军在发布会上说道。本....

瀚博首款AI推理芯片出炉,性能超越英伟达T4,年内即将量产
文章 2022-02-17 来自:开发者社区

华为昇腾,AI推理性能超越对手一倍:软件挖掘处理器全部潜力

「硬件是 AI 的基础,但软件是核心。目前华为昇腾有 70% 研发人员专注于软件的开发,希望能把昇腾处理器的潜力全部发挥出来。」华为昇腾计算业务总裁许映童说道。在本周举行的 HAI 2020 新品发布会上,华为发布了迄今为止业界最完整的 AI 全栈软件平台,覆盖从基础软件到应用能力的所有方面,在推出业内最强 AI 处理器「昇腾」系列之后,软件成为了华为昇腾技术发展的新方向。华为昇腾计算业务总裁许....

华为昇腾,AI推理性能超越对手一倍:软件挖掘处理器全部潜力

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"阿里云 AI","productDescription":"从 AI 应用构建,模型部署到训练,一站式了解阿里云经典的 AI 应用场景和解决方案。","productContentLink":"https://www.aliyun.com/solution/tech-solution/ai","isDisplayProductIcon":true,"productButton1":{"productButtonText":"查看详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/ai"},"productButton2":{"productButtonText":"联系 AI 专家","productButtonLink":"https://page.aliyun.com/form/act933288178/index.htm?spm=5176.29311086.J_RY_4Q8--sru4dMV7o3lqS.2.22ec5297YL7w86"},"productButton3":{"productButtonText":"立即体验","productButtonLink":"https://bailian.console.aliyun.com/?spm=5176.28326591.0.0.56136ee1bpor89#/efm/model_experience_center"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"热门体验","productPromotionInfoFirstText":"文生文应用","productPromotionInfoFirstLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.1.22ec52978mJi5p#/home","productPromotionInfoSecondText":"文生图应用","productPromotionInfoSecondLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.2.22ec52978mJi5p#/efm/model_experience_center?modelId=wanx-v1"},{"$id":"1","productPromotionGroupingTitle":"热门产品","productPromotionInfoFirstText":"大模型服务平台百炼","productPromotionInfoFirstLink":"https://www.aliyun.com/product/bailian","productPromotionInfoSecondText":"人工智能平台 PAI","productPromotionInfoSecondLink":"https://www.aliyun.com/product/bigdata/learn"},{"$id":"2","productPromotionGroupingTitle":"技术解决方案","productPromotionInfoFirstText":"向量检索与通义千问搭建专属问答服务","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/dashvector","productPromotionInfoSecondText":"创意加速器:AI 绘画创作","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/tongyi-wanxiang"},{"$id":"3","productPromotionGroupingTitle":"热门模型","productPromotionInfoFirstText":"通义千问","productPromotionInfoFirstLink":"https://tongyi.aliyun.com","productPromotionInfoSecondText":"通义万相","productPromotionInfoSecondLink":"https://tongyi.aliyun.com/wanxiang"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}

人工智能平台PAI

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

+关注