阿里云文档 2025-02-11

如何通过集群Gateway节点提交作业。

在阿里云EMR体系中,Gateway实例可以作为一个独立的作业提交点,关联到已有的集群。本文为您介绍如何通过已有的EMR集群创建Gateway实例和节点组并提交作业。

阿里云文档 2025-02-11

如何启用节点容错功能

为了提升阿里云EMR集群的可靠性和可用性,您可以采用两种策略:一是在集群扩容时开启尽力交付,这样即使部分节点创建失败,系统也会将所有成功创建的节点加入集群,从而最大限度地保障服务运行;二是对集群中现有的或新增的节点组开启自动补偿机制,一旦检测到集群中的ECS实例出现异常,该机制会自动尝试用新购的实例替换故障节点。这两种机制相结合,能够显著提高EMR集群的整体稳定性。本文为您介绍阿里云EMR集群的节...

阿里云文档 2025-02-11

NameNode格式化后无法启动

本文介绍在EMR集群对NameNode格式化后如何启动NameNode。

阿里云文档 2025-02-10

2025-01-20版本说明

本文为您介绍2025年01月20日发布的EMR Serverless Spark的功能变更。

阿里云文档 2025-02-07

如何通过阿里云DataWorks提交作业

DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点,实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能,为用户提供一站式数据湖开发和治理的环境。本文介绍如何通过阿里云DataWorks提交作业。

文章 2024-10-14 来自:开发者社区

大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
问答 2024-06-26 来自:开发者社区

大数据计算MaxCompute是可以用hdfs和hive和mapreduce的吗?

我有个基于cdh5.9的项目要接入云,公司买的阿里云大数据服务没有emr,大数据计算MaxCompute是可以用hdfs和hive和mapreduce的吗?

问答 2024-06-14 来自:开发者社区

通过ECS自建的大数据平台迁移到E-MapReduce是否需要停机

通过ECS自建的大数据平台迁移到E-MapReduce是否需要停机

文章 2024-06-12 来自:开发者社区

【大数据】MapReduce JAVA API编程实践及适用场景介绍

1.前言 本文是作者大数据系列专栏的其中一篇,前文我们依次聊了大数据的概论、分布式文件系统、分布式数据库、以及计算引擎mapreduce核心概念以及工作原理。 书接上文,本文将会继续聊一下mapreduce的编程实践以及mapreduce的适用场景。基于的Hadoop版本依然是前文的hadoop3.1.3。 2.mapreduce编程示例 本文依然以最经典的单词分...

【大数据】MapReduce JAVA API编程实践及适用场景介绍
文章 2024-06-12 来自:开发者社区

【大数据】计算引擎MapReduce

1.概述 1.1.前言 本文是作者大数据系列专栏的其中一篇 本文将会聊一下计算引擎MapRedduce,深入浅出快速过一遍MapReduce的核心概念和原理,不涉及具体操作,具体操作将会在下文聊。 1.2.大数据要怎么计算? 大数据集的数据是海量的,动辄几十上百TB,为了能将其存下来都是采用的分布式存储,将整个数据集分散到多个节点上去。要对其做统计之类的...

【大数据】计算引擎MapReduce

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐