文章 2023-04-29 来自:开发者社区

​Hadoop Yarn 在小米的实践(3)

03Yarn扩展性与其他优化接下来介绍 Hadoop Yarn 扩展性方面的一些实践,以及使用过程中的其他一些优化。1. 扩展性目前小米 Yarn 集群存在两个隐患:如何适配新的机房,如何对外屏蔽新机房的存在以及减少两个机房之间的专线带宽;单集群因规模较大面临稳定性及扩展性的问题,急需扩展性的方案。通过对社区实现方式以及业界常见的一些优化手段的调研,以及小米内部更倾向于更靠近社区,所以决定落地 ....

​Hadoop Yarn 在小米的实践(3)
文章 2023-04-29 来自:开发者社区

​Hadoop Yarn 在小米的实践(1)

分享嘉宾:涂瑜 小米 高级软件开发工程师编辑整理:杨旗 陕西理工大学出品平台:DataFunTalk导读:大数据技术的应用已经在各行各业都比较成熟了,基于Hadoop Yarn的调度和资源管理在离线以及在线方面有着举足轻重的地位。本文将分享Hadoop Yarn在小米内部的实践。今天的分享会围绕以下几点展开:调度优化实践资源优化实践Yarn扩展性与其他优化Yarn元仓建设未来规划01调度优化实践....

​Hadoop Yarn 在小米的实践(1)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注