从统一元数据库迁出到用户自建的RDS实例
RDS MySQL实例须与E-MapReduce的实例处于同一个安全组，以便RDS与E-MapReduce可以通过内网地址互通。操作步骤 在RDS中创建一个 database，名称为 hivemeta，同时创建一个用户，把 hivemeta 的读写权限赋给这个用户，详情请参见 配置独立RDS...
EMR Serverless StarRocks公测说明
重要 E-MapReduce Serverless StarRocks实例创建时，依赖ASCM和CLB产品，开通实例会额外产生少量ASCM和CLB费用。公测限制 公测期间，您可以创建 实例系列 为 入门版 的实例，且仅能创建一个。公测期间不保障服务等级协议SLA，但服务不降级...
原生SDK概述
本文为您介绍较为常用的MapReduce核心接口。如果您使用Maven，可以从 Maven库 中搜索 odps-sdk-mapred 获取不同版本的Java SDK，相关配置信息如下。dependency groupId ...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，本文中的测试并不符合TPC-DS的基准测试的所有要求。
计费项
本文为您介绍E-MapReduce的计费项和计费方式，以便您对支付的费用组成有所了解。计费说明 E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。重要 实际价格请以产品购买页面为准。计费项 计费说明及...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
选型配置说明
HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例（Core）和计算实例（Task）三种实例类型。详情请参见 实例类型。E-MapReduce存储可以采用高效云盘、本地盘、SSD云盘和SSD本地盘。磁盘性能为SSD...
EMR Notebook公测说明
公测限制 公测期间，有以下限制：指定地域如果创建了EMR on ECS形态下的集群或Serverless StarRocks实例，则该地域免费提供200 CU*时的机器资源。只有当机器资源总量大于0时，才能启动机器。创建集群或实例详情，请参见 创建集群 或 创建...
Node Labels特性使用
本文为您介绍YARN Node Labels特性、使用方式和常见问题。基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node ...实例规格差异过大，用分区管理的方式分别运行作业避免不均衡等。
基本概念
节点 E-MapReduce集群由多个不同类型的实例节点组成，包括主实例节点（Master）、核心实例节点（Core）和计算实例节点（Task）。详细信息，请参见 实例类型。云盘和本地盘 云盘：数据块级别的块存储产品，采用分布式三副本机制，为ECS实例...
工作流快速入门
步骤五：查看任务实例日志 在左侧导航栏，选择 实例运维 工作流实例，可以查看实例的运行状况。在左侧导航栏，选择 实例运维 任务实例。在 任务实例 页面，单击目标任务名称操作列的 查看日志，可以查看任务节点的运行日志。（可选）步骤六...
快速使用EMR Workflow
步骤五：查看任务实例日志 在左侧导航栏，选择 实例运维 工作流实例，可以查看实例的运行状况。在左侧导航栏，选择 实例运维 任务实例。在 任务实例 页面，单击目标任务名称操作列的 图标（查看日志），可以查看任务节点的运行日志。（可选...
手动任务快速入门
（可选）步骤八：查看任务实例日志 在左侧导航栏，选择 实例运维 工作流实例，可以查看实例的运行状况。在左侧导航栏，选择 实例运维 任务实例。在 任务实例 页面，单击目标任务名称操作列的 查看日志，可以查看任务节点的运行日志。常见...
Hive元数据说明
本文为您介绍E-MapReduce（简称EMR）支持的元数据类型和各元数据类型的优势。元数据类型介绍 EMR Hive元数据支持DLF统一元数据、自建RDS和内置MySQL三种类型。DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）...
管理调度资源组
首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行绑定集群、关联工作空间等操作。...
准备工作
当阿里云E-MapReduce的Hadoop集群在VPC中时，请确保已绑定表格存储的实例和E-MapReduce的Hadoop集群所在的VPC。具体操作，请参见（可选）绑定VPC。已开通DataV服务并制作大屏。具体操作，请参见 开通DataV服务。数据准备 产品 数据收集 ...
使用Druid
EMR-3.11.0及其后续版本，E-MapReduce支持Druid作为单独的一种集群类型。背景信息 E-MapReduce将Druid作为单独的集群类型，主要基于以下几方面的考虑：E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下，E-MapReduce Druid对...
引擎运维
在DataWorks实例任务中，E-MapReduce（简称EMR）计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务...
作业编辑
在E-MapReduce集群中，作业实例消耗内存计算方式如下。作业实例消耗内存=Launcher消耗内存+用户作业（Job）消耗内存 在Spark作业中，用户作业（Job）消耗内存又可以进一步细分，计算方式如下。Job消耗内存=Spark-Submit（指逻辑模块，非...
管理安全组
安全组用于设置集群内ECS实例的网络访问控制，是重要的安全隔离手段。本文为您介绍如何添加安全组及安全组规则。背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向...
重启实例
重启操作是维护实例常用的方式。例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启实例会造成您的实例停止工作，可能导致业务中断。因此，建议您在业务低峰期进行操作。同时，请确保客户端已具备业务重试...
操作指南
您可以在E-Mapreduce控制台创建和管理集群或实例等操作。形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心（Hadoop集群）E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作...
升级大版本
如果您使用的是2.5版本实例，并希望升级为3.1版本，请重新购买实例，详情请参见 创建实例。注意事项 StarRocks的大版本升级可能引发不兼容的使用方式。在进行升级之前，请确保在测试环境中充分验证相关内容，以免对业务造成影响。版本升级...
扩缩容实例
创建实例后，如果当前实例配置无法满足您的业务需求，您可以增加或减少FE节点的数量，以满足业务需求。前提条件 实例状态为 运行中。您的阿里云账号没有未支付的扩容、缩容或续费订单。如果有未支付的订单，您必须先支付或作废未支付的订单...
管理Manager Agent
Manager Agent是StarRocks Manager连接实例的Agent服务，它默认部署在FE中，如果您FE负载压力较大或对StarRocks Manager稳定性有更高要求，可以开通独立的Manager Agent资源。前提条件 已创建StarRocks实例，详情请参见 创建实例。注意事项...
快速使用存算一体版实例
存算一体版实例适用于对查询性能要求高的场景，例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘，以确保较高的数据读写效率。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存...
按量付费转包年包月
创建EMR Serverless StarRocks的按量付费实例后，您可以将计费模式转为包月，提前预留资源，享受更大的价格优惠。本文介绍如何将按量付费实例转换为包月实例。前提条件 待转换的按量付费实例需要满足以下条件：归属于您的账号下。不能有未...
续费说明
您可以手动或者自动续费集群，延长包年包月实例的使用时间，续费的费用和新购实例费用相同。续费功能仅适用于包年包月类型，按量付费类型不需要续费，您只需要保证账户可用额度充足即可。本文为您介绍如何手动和自动续费实例。前提条件 您...
管理配置信息
前提条件 已创建EMR Serverless实例，详情请参见 创建实例。查询配置信息 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。在 ...
SQL Editor
在 实例列表 页面，单击已创建实例操作列的 连接实例，详情请参见 通过EMR StarRocks Manager连接StarRocks实例。您可以选择相应的用户身份连接StarRocks实例。SQL Editor 界面总览 区域 描述 ① 展示所有文件。提供了即开即用的TPC-DS与...
查看实例列表与详情
前提条件 已创建实例，详情请参见 创建实例。查看实例列表 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。在 实例列表 页面，...
升降配计算组
登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。单击目标实例的实例名称。单击 计算组 页签。在 计算组 页面，单击计算组名称。在 管理计算组 页面，单击 规格 右侧的 升配...
升级小版本
前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 实例状态为 运行中。注意事项 StarRocks的小版本升级通常会保持功能的兼容性。但由于受到社区版本迭代的影响，建议您在充分验证测试环境后再进行升级，以免对业务造成影响。...
扩缩容计算组
缩容 说明 如果 缩容预检查 显示为 检查失败，原因是实例当前的总数据量超出缩容后实例存储空间的70%，缩容后实例的存储水位过高，不允许进行缩容，所以请完成数据备份或迁移后再进行缩容操作。在 管理计算组 页面，单击 常驻节点 右侧的 ...
配置计算组磁盘
创建实例后，如果当前计算组配置无法满足您的业务需求，您可以修改计算组节点的缓存类型、缓存大小、磁盘数量等配置，以满足业务需求。磁盘变配 通过磁盘变配功能，您可以升级现有实例的云盘类型，但仅支持从较低级别的云盘升级到较高级别...
快速使用存算分离版实例
存算分离版实例适用于对存储成本敏感，同时对查询效率要求略低的业务场景，例如OLAP多维分析、实时数据分析以及数据仓库场景。该实例类型采用存算分离架构，将数据存储在阿里云OSS对象存储中。本文为您介绍如何通过阿里云账号创建并快速...
管理计算组
前提条件 已创建StarRocks实例，详情请参见 创建实例。新增计算组 说明 仅StarRocks 3.3及以上版本的存算分离版实例，支持新增计算组功能。计算组个数上限为50个。进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在...
实例类型
E-MapReduce集群由多个不同类型的实例节点组成，包括主实例节点（Master）、核心实例节点（Core）和计算实例节点（Task）。不同实例节点上部署的服务进程不同，负责完成的任务也不同。例如：主实例节点（Master）：部署Hadoop HDFS的...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
配置监控告警
EMR Serverless StarRocks提供了告警设置功能，通过对重要的监控指标设置报警规则，可以实时了解实例的运行状况，及时处理潜在风险，保障实例稳定运行。背景信息 EMR Serverless StarRocks的监控报警是通过阿里云云监控产品实现的。通过云...
- 产品推荐
- 这些文档可能帮助您