文章 2025-10-03 来自:开发者社区

68_分布式训练技术:DDP与Horovod

1. 引言:分布式训练在LLM时代的重要性 随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年࿰...

68_分布式训练技术:DDP与Horovod
文章 2025-02-26 来自:开发者社区

DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术

随着深度学习模型规模的不断扩大和数据集的日益增长,单机训练已经无法满足大规模深度学习任务的需求。分布式训练技术应运而生,它通过将计算任务分配到多个计算节点上并行执行,显著提高了训练效率。DeepSeek框架提供了强大的分布式训练支持,使得用户能够轻松地在多台机器上训练大规模的深度学习模型。本文将深入探讨DeepSeek中的分布式训练技术&#...

DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
阿里云文档 2023-09-27

Spring Cloud Gateway应用路由使用EDAS Java Agent技术进行增强

EDAS使用Java Agent技术以无侵入的方式增强托管的Spring Cloud Gateway应用,支持动态路由和插件配置能力。本文介绍如何在EDAS中进行Spring Cloud Gateway的常见两类配置:路由(Route)和插件(GatewayFilter)。

阿里云文档 2023-09-13

数据库行业的发展及PolarDB-X的技术发展历程_云原生数据库PolarDB分布式版_云原生数据库 PolarDB(PolarDB)

本文介绍了数据库行业的发展及PolarDB-X的技术发展历程。

阿里云文档 2023-07-26

产品白皮书SOFAStack关键技术竞争力是什么

传统应用现代化:不止于异构应用治理在传统单体式架构向微服务架构迁移的过程中,随着应用微服务数量的增加,微服务间的通信、监控以及安全性管理成为新的挑战。服务网格作为应用与基础设施的桥梁,突破传统的 SDK 接入方式,以对应用透明的方式处理服务之间、服务与基础设施间的通信,实现应用研发和基础设施最大程度...

阿里云文档 2023-06-19

什么是开放技术赋能培训

本次培训主要介绍 Mesh 协议插件和功能插件。协议插件包含各种场景的私有协议接入;功能插件包括协议转换、拦截器以及动态配置等场景,帮助您高效、低成本、快速完成系统集成能力。

问答 2022-06-13 来自:开发者社区

EasyTexMiner的分布式训练融合了哪些核心技术?

EasyTexMiner的分布式训练融合了哪些核心技术?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云分布式应用服务

企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。

+关注