文章 2024-06-11 来自:开发者社区

Python 分布式计算框架 PP (Parallel Python):集群模式下的实践探索

该文章是我在2016年发布在某sdn上的,搬运过来。 背景介绍 在现代计算领域,随着硬件性能的提升,特别是多核处理器和大规模集群的普及,分布式计算成为提高程序效率和处理大规模数据的关键手段。Parallel Python(简称PP)作为一款轻量级的分布式计算框架,旨在简化Python代码在SMP系统(多处理器或多核心)和集群环境中的并行执行。尽管网络上不乏关于PP单机多...

文章 2022-03-16 来自:开发者社区

阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

作者:王林、飒洋导读最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T,模型参数已经从万亿跃迁到10万亿,规模远超业界此前发布的万亿级模型,成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效,使用512 GPU在10天内即训练出具有可用水平的10万亿模型。相比之前发布的大模型GP...

阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

开源PolarDB分布式版部署实操

10 课时 |
24 人已学 |
免费

Spring Boot+Vue.js+FastDFS实现分布式图片服务器

16 课时 |
319 人已学 |
免费

基于Zookeeper、Dubbo构建互联网分布式基础架构

11 课时 |
573 人已学 |
免费
开发者课程背景图

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里云分布式应用服务

企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。

+关注