RDS MySQL实例须与E-MapReduce的实例处于同一个安全组,以便RDS与E-MapReduce可以通过内网地址互通。操作步骤 在RDS中创建一个 database,名称为 hivemeta,同时创建一个用户,把 hivemeta 的读写权限赋给这个用户,详情请参见 配置独立RDS...
重要 E-MapReduce Serverless StarRocks实例创建时,依赖ASCM和CLB产品,开通实例会额外产生少量ASCM和CLB费用。公测限制 公测期间,您可以创建 实例系列 为 入门版 的实例,且仅能创建一个。公测期间不保障服务等级协议SLA,但服务不降级...
本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试,并不能与已发布的TPC-DS基准测试结果相比较,本文中的测试并不符合TPC-DS的基准测试的所有要求。
本文为您介绍E-MapReduce的计费项和计费方式,以便您对支付的费用组成有所了解。计费说明 E-MapReduce的费用由E-MapReduce服务费用、ECS产品费用和Master节点的外网流量费用组成。重要 实际价格请以产品购买页面为准。计费项 计费说明及...
本文介绍E-MapReduce集群中数据存储相关的信息,包括磁盘角色、云盘与本地盘,以及OSS。背景信息 关于存储的类型、性能和相关的限制信息,请参见 什么是块存储。存储价格估算如下:本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例(Master)、核心实例(Core)和计算实例(Task)三种实例类型。详情请参见 实例类型。E-MapReduce存储可以采用高效云盘、本地盘、SSD云盘和SSD本地盘。磁盘性能为SSD...
公测限制 公测期间,有以下限制:指定地域如果创建了EMR on ECS形态下的集群或Serverless StarRocks实例,则该地域免费提供200 CU*时的机器资源。只有当机器资源总量大于0时,才能启动机器。创建集群或实例详情,请参见 创建集群 或 创建...
节点 E-MapReduce集群由多个不同类型的实例节点组成,包括主实例节点(Master)、核心实例节点(Core)和计算实例节点(Task)。详细信息,请参见 实例类型。云盘和本地盘 云盘:数据块级别的块存储产品,采用分布式三副本机制,为ECS实例...
步骤五:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 查看日志,可以查看任务节点的运行日志。(可选)步骤六...
步骤五:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 图标(查看日志),可以查看任务节点的运行日志。(可选...
(可选)步骤八:查看任务实例日志 在左侧导航栏,选择 实例运维 工作流实例,可以查看实例的运行状况。在左侧导航栏,选择 实例运维 任务实例。在 任务实例 页面,单击目标任务名称操作列的 查看日志,可以查看任务节点的运行日志。常见...
EMR-3.11.0及其后续版本,E-MapReduce支持Druid作为单独的一种集群类型。背景信息 E-MapReduce将Druid作为单独的集群类型,主要基于以下几方面的考虑:E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下,E-MapReduce Druid对...
在DataWorks实例任务中,E-MapReduce(简称EMR)计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务...
在E-MapReduce集群中,作业实例消耗内存计算方式如下。作业实例消耗内存=Launcher消耗内存+用户作业(Job)消耗内存 在Spark作业中,用户作业(Job)消耗内存又可以进一步细分,计算方式如下。Job消耗内存=Spark-Submit(指逻辑模块,非...
安全组用于设置集群内ECS实例的网络访问控制,是重要的安全隔离手段。本文为您介绍如何添加安全组及安全组规则。背景信息 您在创建E-MapReduce集群时,可以使用已有的安全组或者新建安全组,对某个安全组下的所有ECS实例的出方向和入方向...
创建实例后,如果当前实例配置无法满足您的业务需求,您可以修改FE节点的CU数量,以满足业务需求。前提条件 实例状态为 运行中。您的阿里云账号没有未支付的订单。如果有未支付的订单,您必须先支付或作废未支付的订单。FE升配 进入EMR ...
重启操作是维护实例常用的方式。例如,用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启实例会造成您的实例停止工作,可能导致业务中断。因此,建议您在业务低峰期进行操作。同时,请确保客户端已具备业务重试...
您可以在E-Mapreduce控制台创建和管理集群或实例等操作。形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心(Hadoop集群)E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作...
如果您使用的是2.5版本实例,并希望升级为3.1版本,请重新购买实例,详情请参见 创建实例。注意事项 StarRocks的大版本升级可能引发不兼容的使用方式。在进行升级之前,请确保在测试环境中充分验证相关内容,以免对业务造成影响。版本升级...
创建实例后,如果当前实例配置无法满足您的业务需求,您可以增加或减少FE节点的数量,以满足业务需求。前提条件 实例状态为 运行中。您的阿里云账号没有未支付的扩容、缩容或续费订单。如果有未支付的订单,您必须先支付或作废未支付的订单...
Manager Agent是StarRocks Manager连接实例的Agent服务,它默认部署在FE中,如果您FE负载压力较大或对StarRocks Manager稳定性有更高要求,可以开通独立的Manager Agent资源。前提条件 已创建StarRocks实例,详情请参见 创建实例。注意事项...
存算一体版实例适用于对查询性能要求高的场景,例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘,以确保较高的数据读写效率。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存...
创建EMR Serverless StarRocks的按量付费实例后,您可以将计费模式转为包月,提前预留资源,享受更大的价格优惠。本文介绍如何将按量付费实例转换为包月实例。前提条件 待转换的按量付费实例需要满足以下条件:归属于您的账号下。不能有未...
您可以手动或者自动续费集群,延长包年包月实例的使用时间,续费的费用和新购实例费用相同。续费功能仅适用于包年包月类型,按量付费类型不需要续费,您只需要保证账户可用额度充足即可。本文为您介绍如何手动和自动续费实例。前提条件 您...
前提条件 已创建EMR Serverless实例,详情请参见 创建实例。查询配置信息 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。在 ...
在 实例列表 页面,单击已创建实例操作列的 连接实例,详情请参见 通过EMR StarRocks Manager连接StarRocks实例。您可以选择相应的用户身份连接StarRocks实例。SQL Editor 界面总览 区域 描述 ① 展示所有文件。提供了即开即用的TPC-DS与...
前提条件 已创建实例,详情请参见 创建实例。查看实例列表 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。在 实例列表 页面,...
登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。单击目标实例的实例名称。单击 计算组 页签。在 计算组 页面,单击计算组名称。在 管理计算组 页面,单击 规格 右侧的 升配...
前提条件 已创建StarRocks实例,详情请参见 创建实例。使用限制 实例状态为 运行中。注意事项 StarRocks的小版本升级通常会保持功能的兼容性。但由于受到社区版本迭代的影响,建议您在充分验证测试环境后再进行升级,以免对业务造成影响。...
如果您实例的时区与您业务实际所在的时区不一致,则需要修改实例的时区,以确保数据处理过程中时间信息的准确性以及跨时区展示的一致性。使用限制 仅当小版本的最后三位版本号大于或等于1.6.0时,系统才支持修改时区。例如,当小版本为3.3....
缩容 说明 如果 缩容预检查 显示为 检查失败,原因是实例当前的总数据量超出缩容后实例存储空间的70%,缩容后实例的存储水位过高,不允许进行缩容,所以请完成数据备份或迁移后再进行缩容操作。在 管理计算组 页面,单击 常驻节点 右侧的 ...
创建实例后,如果当前计算组配置无法满足您的业务需求,您可以修改计算组节点的缓存类型、缓存大小、磁盘数量等配置,以满足业务需求。磁盘变配 通过磁盘变配功能,您可以升级现有实例的云盘类型,但仅支持从较低级别的云盘升级到较高级别...
前提条件 已创建StarRocks实例,详情请参见 创建实例。新增计算组 说明 仅StarRocks 3.3及以上版本的存算分离版实例,支持新增计算组功能。计算组个数上限为50个。进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在...
E-MapReduce集群由多个不同类型的实例节点组成,包括主实例节点(Master)、核心实例节点(Core)和计算实例节点(Task)。不同实例节点上部署的服务进程不同,负责完成的任务也不同。例如:主实例节点(Master):部署Hadoop HDFS的...
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台,为您提供对实例内数据的管理、诊断与分析,以及安全权限配置等功能。前提条件 已创建StarRocks实例,详情请参见 创建实例。步骤一:进入StarRocks...
EMR Serverless StarRocks提供了告警设置功能,通过对重要的监控指标设置报警规则,可以实时了解实例的运行状况,及时处理潜在风险,保障实例稳定运行。背景信息 EMR Serverless StarRocks的监控报警是通过阿里云云监控产品实现的。通过云...
前提条件 已创建StarRocks实例,详情请参见 创建实例。使用限制 BE计算组不支持弹性伸缩。操作步骤 说明 如果实例或计算组在执行其他操作,弹性伸缩将在其他操作完成后再进行扩容或缩容。进入EMR Serverless StarRocks实例列表页面。登录 E...
E-MapReduce(简称EMR)包括基于ECS实例、ACK集群以及Serverless架构在内的多种部署模式。每种部署形态均有其独特的计费准则。本文旨在为您提供一份EMR不同部署方式下的计费指南索引。产品计费索引 产品形态 计费文档 EMR on ECS 计费概述 ...
本文介绍E-MapReduce(简称EMR)支持的ECS实例类型,以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如,8核32 GiB,使用云盘作为存储。计算型 vCPU:Memory=1:2。例如,8核16 GiB,使用云盘作为存储,提供了更...
您可以通过Gateway集群实现负载均衡和安全隔离,也可以通过Gateway集群向E-MapReduce集群提交作业。本文为您介绍如何在E-MapReduce中创建Gateway集群。前提条件 已经在E-MapReduce中创建了Hadoop集群或Kafka集群,详情请参见 创建集群。...