问答
2024-08-19
来自：开发者社区
阿里云EMR推出的Remote Shuffle Service(RSS)解决了什么问题，并带来了什么
阿里云EMR推出的Remote Shuffle Service(RSS)解决了什么问题，并带来了什么好处，在2022年初做了什么重要的举措？
文章
2022-02-14
来自：开发者社区
阿里云EMR Remote Shuffle Service在小米的实践，以及开源
问题回顾Shuffle是大数据计算中最为重要的算子。首先，覆盖率高，超过50%的作业都包含至少一个Shuffle[2]。其次，资源消耗大，阿里内部平台Shuffle的CPU占比超过20%，LinkedIn内部Shuffle Read导致的资源浪费高达15%[1]，单Shuffle数据量超100T[2]。第三，不稳定，硬件资源的稳定性CPU>内存>磁盘≈网络，而Shuffle的资源消耗....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。