从统一元数据库迁出到用户自建的RDS实例

RDS MySQL实例须与E-MapReduce实例处于同一个安全组,以便RDS与E-MapReduce可以通过内网地址互通。操作步骤 在RDS中创建一个 database,名称为 hivemeta,同时创建一个用户,把 hivemeta 的读写权限赋给这个用户,详情请参见 配置独立RDS...

EMR Serverless StarRocks公测说明

重要 E-MapReduce Serverless StarRocks实例创建时,依赖ASCM和CLB产品,开通实例会额外产生少量ASCM和CLB费用。公测限制 公测期间,您可以创建 实例系列 为 入门版 的实例,且仅能创建一个。公测期间不保障服务等级协议SLA,但服务不降级...

原生SDK概述

本文为您介绍较为常用的MapReduce核心接口。如果您使用Maven,可以从 Maven库 中搜索 odps-sdk-mapred 获取不同版本的Java SDK,相关配置信息如下。dependency groupId ...

E-MapReduce本地盘实例大规模数据集测试

本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试,并不能与已发布的TPC-DS基准测试结果相比较,本文中的测试并不符合TPC-DS的基准测试的所有要求。

计费项

本文为您介绍E-MapReduce的计费项和计费方式,以便您对支付的费用组成有所了解。计费说明 E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。重要 实际价格请以产品购买页面为准。计费项 计费说明及...

存储说明

本文介绍E-MapReduce集群中数据存储相关的信息,包括磁盘角色、云盘与本地盘,以及OSS。背景信息 关于存储的类型、性能和相关的限制信息,请参见 什么是块存储。存储价格估算如下:本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...

选型配置说明

HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例(Master)、核心实例(Core)和计算实例(Task)三种实例类型。详情请参见 实例类型。E-MapReduce存储可以采用高效云盘、本地盘、SSD云盘和SSD本地盘。磁盘性能为SSD...

EMR Notebook公测说明

公测限制 公测期间,有以下限制:指定地域如果创建了EMR on ECS形态下的集群或Serverless StarRocks实例,则该地域免费提供200 CU*时的机器资源。只有当机器资源总量大于0时,才能启动机器。创建集群或实例详情,请参见 创建集群 或 创建...

Node Labels特性使用

本文为您介绍YARN Node Labels特性、使用方式和常见问题。基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node ...实例规格差异过大,用分区管理的方式分别运行作业避免不均衡等。

基本概念

节点 E-MapReduce集群由多个不同类型的实例节点组成,包括主实例节点(Master)、核心实例节点(Core)和计算实例节点(Task)。详细信息,请参见 实例类型。云盘和本地盘 云盘:数据块级别的块存储产品,采用分布式三副本机制,为ECS实例...

工作流快速入门

步骤五:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 查看日志,可以查看任务节点的运行日志。(可选)步骤六...

快速使用EMR Workflow

步骤五:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 图标(查看日志),可以查看任务节点的运行日志。(可选...

手动任务快速入门

(可选)步骤八:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 查看日志,可以查看任务节点的运行日志。常见...

Hive元数据说明

本文为您介绍E-MapReduce(简称EMR)支持的元数据类型和各元数据类型的优势。元数据类型介绍 EMR Hive元数据支持DLF统一元数据、自建RDS和内置MySQL三种类型。DLF统一元数据 元数据存储在阿里云数据湖构建(Data Lake Formation,简称DLF)...

管理调度资源组

首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求,您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后,在实际使用前您还需进行绑定集群、关联工作空间等操作。...

准备工作

当阿里云E-MapReduce的Hadoop集群在VPC中时,请确保已绑定表格存储的实例和E-MapReduce的Hadoop集群所在的VPC。具体操作,请参见(可选)绑定VPC。已开通DataV服务并制作大屏。具体操作,请参见 开通DataV服务。数据准备 产品 数据收集 ...

使用Druid

EMR-3.11.0及其后续版本,E-MapReduce支持Druid作为单独的一种集群类型。背景信息 E-MapReduce将Druid作为单独的集群类型,主要基于以下几方面的考虑:E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下,E-MapReduce Druid对...

引擎运维

在DataWorks实例任务中,E-MapReduce(简称EMR)计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务...

作业编辑

在E-MapReduce集群中,作业实例消耗内存计算方式如下。作业实例消耗内存=Launcher消耗内存+用户作业(Job)消耗内存 在Spark作业中,用户作业(Job)消耗内存又可以进一步细分,计算方式如下。Job消耗内存=Spark-Submit(指逻辑模块,非...

管理安全组

安全组用于设置集群内ECS实例的网络访问控制,是重要的安全隔离手段。本文为您介绍如何添加安全组及安全组规则。背景信息 您在创建E-MapReduce集群时,可以使用已有的安全组或者新建安全组,对某个安全组下的所有ECS实例的出方向和入方向...

重启实例

重启操作是维护实例常用的方式。例如,用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启实例会造成您的实例停止工作,可能导致业务中断。因此,建议您在业务低峰期进行操作。同时,请确保客户端已具备业务重试...

操作指南

您可以在E-Mapreduce控制台创建和管理集群或实例等操作。形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心(Hadoop集群)E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作...

升级大版本

如果您使用的是2.5版本实例,并希望升级为3.1版本,请重新购买实例,详情请参见 创建实例。注意事项 StarRocks的大版本升级可能引发不兼容的使用方式。在进行升级之前,请确保在测试环境中充分验证相关内容,以免对业务造成影响。版本升级...

扩缩容实例

创建实例后,如果当前实例配置无法满足您的业务需求,您可以增加或减少FE节点的数量,以满足业务需求。前提条件 实例状态为 运行中。您的阿里云账号没有未支付的扩容、缩容或续费订单。如果有未支付的订单,您必须先支付或作废未支付的订单...

管理Manager Agent

Manager Agent是StarRocks Manager连接实例的Agent服务,它默认部署在FE中,如果您FE负载压力较大或对StarRocks Manager稳定性有更高要求,可以开通独立的Manager Agent资源。前提条件 已创建StarRocks实例,详情请参见 创建实例。注意事项...

快速使用存算一体版实例

存算一体版实例适用于对查询性能要求高的场景,例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘,以确保较高的数据读写效率。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存...

按量付费转包年包月

创建EMR Serverless StarRocks的按量付费实例后,您可以将计费模式转为包月,提前预留资源,享受更大的价格优惠。本文介绍如何将按量付费实例转换为包月实例。前提条件 待转换的按量付费实例需要满足以下条件:归属于您的账号下。不能有未...

续费说明

您可以手动或者自动续费集群,延长包年包月实例的使用时间,续费的费用和新购实例费用相同。续费功能仅适用于包年包月类型,按量付费类型不需要续费,您只需要保证账户可用额度充足即可。本文为您介绍如何手动和自动续费实例。前提条件 您...

管理配置信息

前提条件 已创建EMR Serverless实例,详情请参见 创建实例。查询配置信息 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。在 ...

SQL Editor

实例列表 页面,单击已创建实例操作列的 连接实例,详情请参见 通过EMR StarRocks Manager连接StarRocks实例。您可以选择相应的用户身份连接StarRocks实例。SQL Editor 界面总览 区域 描述 ① 展示所有文件。提供了即开即用的TPC-DS与...

查看实例列表与详情

前提条件 已创建实例,详情请参见 创建实例。查看实例列表 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。在 实例列表 页面,...

升降配计算组

登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。单击目标实例实例名称。单击 计算组 页签。在 计算组 页面,单击计算组名称。在 管理计算组 页面,单击 规格 右侧的 升配...

升级小版本

前提条件 已创建StarRocks实例,详情请参见 创建实例。使用限制 实例状态为 运行中。注意事项 StarRocks的小版本升级通常会保持功能的兼容性。但由于受到社区版本迭代的影响,建议您在充分验证测试环境后再进行升级,以免对业务造成影响。...

扩缩容计算组

缩容 说明 如果 缩容预检查 显示为 检查失败,原因是实例当前的总数据量超出缩容后实例存储空间的70%,缩容后实例的存储水位过高,不允许进行缩容,所以请完成数据备份或迁移后再进行缩容操作。在 管理计算组 页面,单击 常驻节点 右侧的 ...

配置计算组磁盘

创建实例后,如果当前计算组配置无法满足您的业务需求,您可以修改计算组节点的缓存类型、缓存大小、磁盘数量等配置,以满足业务需求。磁盘变配 通过磁盘变配功能,您可以升级现有实例的云盘类型,但仅支持从较低级别的云盘升级到较高级别...

快速使用存算分离版实例

存算分离版实例适用于对存储成本敏感,同时对查询效率要求略低的业务场景,例如OLAP多维分析、实时数据分析以及数据仓库场景。该实例类型采用存算分离架构,将数据存储在阿里云OSS对象存储中。本文为您介绍如何通过阿里云账号创建并快速...

管理计算组

前提条件 已创建StarRocks实例,详情请参见 创建实例。新增计算组 说明 仅StarRocks 3.3及以上版本的存算分离版实例,支持新增计算组功能。计算组个数上限为50个。进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在...

实例类型

E-MapReduce集群由多个不同类型的实例节点组成,包括主实例节点(Master)、核心实例节点(Core)和计算实例节点(Task)。不同实例节点上部署的服务进程不同,负责完成的任务也不同。例如:主实例节点(Master):部署Hadoop HDFS的...

快速使用数据湖分析版实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据,并涵盖OSS、OSS-HDFS、HDFS等平台,无需数据迁移即可实现快速的数据湖查询分析,且其性能比Presto高出3到5倍。...

配置监控告警

EMR Serverless StarRocks提供了告警设置功能,通过对重要的监控指标设置报警规则,可以实时了解实例的运行状况,及时处理潜在风险,保障实例稳定运行。背景信息 EMR Serverless StarRocks的监控报警是通过阿里云云监控产品实现的。通过云...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性容器实例 开源大数据平台 E-MapReduce 弹性伸缩 人工智能平台 PAI 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用