在GPU实例的Docker环境中快速配置eRDMA提升网络性能
eRDMA(Elastic Remote Direct Memory Access)是一种高性能网络通信技术,将eRDMA功能引入容器(Docker)环境可以实现容器应用程序绕过操作系统内核直接访问主机的物理eRDMA设备,从而提供更快的数据传输和通信效率,适用于在容器中需要大规模数据传输和高性能网络通信的应用场景。本文介绍如何使用eRDMA镜像在GPU实例上快速配置eRDMA。
基于eRDMA部署高网络性能的bRPC应用
基于支持eRDMA能力的ECS实例部署bRPC应用,可以充分利用eRDMA提供的低延迟、高吞吐量以及低CPU占用等特性,以优化bRPC应用的数据传输效率,适用于对消息吞吐量和时延要求较高的应用场景。本文介绍如何基于支持eRDMA能力的ECS实例部署bRPC应用,并测试eRDMA对bRPC应用的性能提升效果。
使用eRDMA网络进行分布式训练
弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA)是阿里云自研的云上弹性RDMA网络。PAI通用计算资源中的部分GPU机型已支持eRDMA能力,您只需使用特定镜像提交基于这些GPU机型的DLC任务,系统将自动在容器内挂载eRDMA网卡,从而加速分布式训练过程。
基于eRDMA加速服务网格Pod间的网络性能
Alibaba Cloud Linux 3提供的共享内存通信(Shared Memory Communication)是一种兼容socket层、使用远程内存直接访问(RDMA)技术的高性能内核网络协议栈,能够显著优化网络通信性能。然而,在原生ECS环境中使用SMC技术优化网络性能时,用户需要谨慎维护SMC白名单以及容器网络命名空间中的配置,以防止SMC非预期降级到TCP。ASM为用户提供了可控的网...
基于eRDMA部署高网络性能的Kafka集群
基于支持eRDMA能力的ECS实例部署Kafka集群,可以充分利用eRDMA提供的低延迟、高吞吐量以及低CPU占用等特性,以优化Kafka集群内部节点间的数据传输效率,适用于对消息吞吐量和时延要求较高的应用场景。本文介绍如何基于支持eRDMA能力的ECS实例部署Kafka集群,并测试eRDMA对Kafka性能的提升效果。
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
问题一:MRACC-Spark如何利用eRDMA近网络优化插件来提升性能? MRACC-Spark如何利用eRDMA近网络优化插件来提升性能? 参考回答: MRACC-Spark通过eRDMA近网络优化插件,将shuffle阶段的数据交换优化为memory-network-memory的模式,充分利用了RDMA的低延时和低CPU消耗特性,最终在TPCx...
性能透明提升 50%!SMC + ERDMA 云上超大规模高性能网络协议栈
编者按:当前内核网络协议栈有什么问题?新的协议栈是不是重新发明轮子?一个协议栈能否解决所有问题?适配所有场景?本文整理自 2022 年阿里巴巴开源开放周技术演讲,这里我们将自己的思考分享出来,和大家一起交流。视频回放已上线至龙蜥官网(首页-动态-视频),欢迎大家观看。本文主要分为三部分:第一部分是我们为什么需要一个新的内核网络协议栈,我们是不是在重复发明轮子?第二部分是 SMC + ERDMA ....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
域名解析DNS
关注DNS技术、标准、产品和行业趋势,连接国内外相关技术社群信息,加强信息共享。
+关注