神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
问题一：MRACC-Spark在网络和存储方面做了哪些优化？ MRACC-Spark在网络和存储方面做了哪些优化？ 参考回答： MRACC-Spark在网络和存储方面进行了软硬件加速优化。在网络方面，使用eRDMA进行网络加速，降低了shuffle阶段的数据交换延时，提升了CPU利用率。在存储方面，结合云上架构优势，采用缓存、文件裁剪、索引等优化手段，...
带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展：RDMA能优化吗？GDR性能提升方案
简介：随着人工智能（AI）的迅速发展，越来越多的应用需要巨大的GPU计算资源。GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三方设备进行直接的数据交换，而不涉及CPU。背景：GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三....
技术改变AI发展：RDMA能优化吗？GDR性能提升方案（GPU底层技术系列二）
背景GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术，可以让使用pcie标准的gpu和第三方设备进行直接的数据交换，而不涉及CPU。传统上，当数据需要在 GPU 和另一个设备之间传输时，数据必须通过 CPU，从而导致潜在的瓶颈并增加延迟。使用 GPUDirect，网络适配器和存储驱动器可以直接读写 GPU 内存，减少不必要的内存消耗，减少 CPU....
RDMA优化整理（一）
<!-- more -->RDMA背景资料InfiniBand 是一种广泛用于高性能计算系统的交换结构网络。 RoCE 是一种相对较新的网络协议，允许通过以太网直接访问内存。 InfiniBand 和 RoCE NIC 通过在硬件中实现多层网络堆栈（传输层到物理层）并提供 RDMA 和内核旁路来实现低延迟。 在本节中，我们概述了本文其余部分中使用的 RDMA 功能和术语。RDMA的时....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
开发与运维
集结各类场景实战经验，助你开发运维畅行无忧
+关注