通过PAI - 灵骏分布式训练和部署Llama 2模型
灵骏支持业界各类流行的开源大语言模型，包括Llama2系列、Bloom系列、Falcon系列、GLM/ChatGLM系列，以及领域大模型galactica等的高效训练和部署。本方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
使用Python实现深度学习模型：分布式训练与模型并行化
引言 随着深度学习模型的复杂度和数据量的增加，单一设备的计算能力往往无法满足训练需求。分布式训练和模型并行化技术可以有效地加速模型训练过程，提高计算效率。本文将介绍如何使用Python实现深度学习模型的分布式训练与模型并行化。 所需工具 Python 3.xTensorFlow 或 PyTorch（本文以TensorFlow为例）Horov...
使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能
DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库，能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。
分布式可视化MapReduce编程模型
可视化MapReduce模型在MapReduce模型的基础上，新增了可视化可运维的能力。您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。
AI加速：使用TorchAcc实现Stable Diffusion模型分布式训练加速
阿里云PAI为您提供了部分典型场景下的示例模型，便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在Stable Diffusion分布式训练中接入TorchAcc并实现训练加速。
AI加速：使用TorchAcc实现Swin Transformer模型分布式训练加速
阿里云PAI为您提供了部分典型场景下的示例模型，便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在Swin Transformer分布式训练中接入TorchAcc并实现训练加速。
TensorFlow 高级技巧：自定义模型保存、加载和分布式训练
本篇文章将涵盖 TensorFlow 的高级应用，包括如何自定义模型的保存和加载过程，以及如何进行分布式训练。 一、自定义模型的保存和加载 在 TensorFlow 中，我们可以通过继承 tf.train.Checkpoint 来自定义模型的保存和加载过程。 以下是一个例子： class CustomModel(tf.keras.Model...
【USENIX ATC】支持异构GPU集群的超大规模模型的高效的分布式训练框架Whale
作者：张杰、贾贤艳近日，阿里云机器学习PAI关于深度学习模型高效的分布式训练框架的论文《 Whale: Efficient Giant Model Training over Heterogeneous GPUs 》被计算机系统领域国际顶级学术会议USENIX ATC'22接收。Whale是阿里云机器学习PAI平台自研的分布式训练框架，开源后的名...
阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)
作者：王林、飒洋导读最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效，使用512 GPU在10天内即训练出具有可用水平的10万亿模型。相比之前发布的大模型GP...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云分布式应用服务
企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。
+关注