文章 2023-06-15 来自:开发者社区

阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架

作者:艾宝乐 导读 近期阿里云机器学习平台 PAI 团队和达摩院 GraphScope 团队联合推出了面向 PyTorch 的 GPU 加速分布式 GNN 框架 GraphLearn-for-PyTorch(GLT) 。GLT 利用 GPU 的强大并行计算性能来加速图采样,并利用 UVA 来减少顶点和边特征的转换和拷贝。对于大规模图,GLT 使用了生产者-消费者的架构,通过异步并发的分布式采...

阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架
文章 2023-05-25 来自:开发者社区

阿里云开源数据库PolarDB分布式版入门训练营开营报名中!

阿里云开源数据库PolarDB分布式版入门训练营开营啦!本次训练营共有三个课程+四个任务,大家可根据自身情况灵活安排个人时间完成哦。 参营地址:请点击 ✋ 学习课程:❏ 课程一:云原生分布式数据库PolarDB-X的诞生与发展❏ 课程二:一键本地部署 PolarDB-X❏ 课程三:使用PolarDB-X开发应用 ✋ 每日视频课程只需15-60分钟,参营你将有以下收获:➢ 了解云原生分布式数...

阿里云开源数据库PolarDB分布式版入门训练营开营报名中!
文章 2023-05-23 来自:开发者社区

开源分布式数据库PolarDB-X源码解读——PolarDB-X源码解读(六):分布式死锁检测

一、死锁检测任务的生命周期 本文将主要解读PolarDB-X中分布式死锁检测功能的源码。阅读前建议先了解我们分布式死锁检测原理的相关文章:  PolarDB-X分布式MDL死锁检测。死锁检测功能属于事务模块的功能,死锁检测任务则挂载在事务管理器TransactionManager中。在TransactionManager初始化时(参考PolarDB-X CN启动流程,代码入口在Mat.....

文章 2023-04-30 来自:开发者社区

开源分布式任务调度系统就选它!

介绍特点分布式任务调度多种任务类型可视化任务编排和监控DolphinScheduler的应用场景数据处理业务流程系统集成结论分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题。因为应用场景的广泛,所以有很多开源项目专注于解决这类问题,比如我们熟知的xxl-job。那么今天要给大家推荐的则是另一个更为强大的开源项目:DolphinScheduler介绍DolphinScheduler是....

开源分布式任务调度系统就选它!
文章 2023-04-25 来自:开发者社区

对比7种分布式事务方案,还是偏爱阿里开源的Seata,真香!(原理+实战)

前言先和大家分享一个好消息:10月初陈某的粉丝数破一万了,非常感谢各位读者的支持!这是《Spring Cloud 进阶》专栏的第六篇文章,往期文章如下:五十五张图告诉你微服务的灵魂摆渡者Nacos究竟有多强?openFeign夺命连环9问,这谁受得了?阿里面试这样问:Nacos、Apollo、Config配置中心如何选型?这10个维度告诉你!阿里面试败北:5种微服务注册中心如何选型?这几个维度告....

对比7种分布式事务方案,还是偏爱阿里开源的Seata,真香!(原理+实战)
文章 2023-04-25 来自:开发者社区

阿里云PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。....

阿里云PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!
文章 2023-04-21 来自:开发者社区

阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

作者:品曲,宗雁,佀畅,侠雕,伟林导读一直以来,大模型在模型效果上被证明具有显著优势。而ChatGPT的出现,证明了其在工业生产工具方面具有巨大潜力。毫无疑问,大模型的训练需要巨大的算力,这对分布式并行框架是一项考验。现如今,业界越来越多的团队纷纷转向分布式框架的研究与开发之中,既有针对特定场景特定模型的极致手工优化,也包括面向通用模型通用场景的自动分布式工作。然而,它们在实际生产场景仍然有一些....

阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!
文章 2023-01-20 来自:开发者社区

推荐一个基于.NET Core 3.1开发开源的分布式任务调度系统

今天给大家推荐一个开源的分布式任务调度系统,它基于.NET Core 3.1平台构建,支持跨平台多节点部署运行。项目简介这是一个基于.Net Core构建的简单、跨平台、模块化的分布式任务调度系统。界面清爽大气、功能完备、高可用、数据安全,代码结构清晰,开发效率高,整体来说一个非常不错的系统。技术架构1、跨平台:这是基于.Net Core开发的系统,可以部署在Docker, Windows, L....

推荐一个基于.NET Core 3.1开发开源的分布式任务调度系统
文章 2023-01-15 来自:开发者社区

【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构

MinIO背景介绍MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO,Harshavardhana曾经是GlusterFS的开发人员,直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训,系统复杂度上作了大量简化....

【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构
文章 2023-01-15 来自:开发者社区

【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator

UidGenerator是什么UidGenerator是百度开源的一款分布式高性能的唯一ID生成器,更详细的情况可以查看官网集成文档uid-generator是基于Twitter开源的snowflake算法实现的一款唯一主键生成器(数据库表的主键要求全局唯一是相当重要的)。要求java8及以上版本。snowflake算法Snowflake算法描述:指定机器 & 同一时刻 & 某一....

【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云分布式应用服务

企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。

+关注