概述

JindoSDK:为EMR各种开源计算引擎提供统一的SDK,支持Java、C、C++和Python语言,提供多种访问和API接口,包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集:提供相关的工具集,例如Jindo tool和迁移工具Jindo DistCp。各种...

什么是EMR on ACK

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。前置概念 阅读本文前,您可能需要了解如下概念:什么...

Hadoop DistCp介绍

Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具,用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具,支持OSS、OSS-HDFS服务、兼容...

开源大数据平台 E-MapReduce系统权限策略参考

本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...

Presto

与EMR软件栈完美结合,支持DLF和OSS或OSS-HDFS。无需运维,EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog:一个Catalog可以包含多个Schema,物理上指向...

开启系统盘加密

加密系统盘后,系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求,则可以使用该功能。...创建集群时,您还需要对集群进行软件配置、硬件配置、基础配置和确认订单,配置详情请参见 创建集群。

导出和导入服务配置

阿里云E-MapReduce(简称EMR)提供的导出服务配置...在 软件配置 的 高级设置 区域,打开 软件自定义配置 开关。复制导出的JSON格式服务配置中的内容到配置框中。单击 下一步:硬件配置,继续创建集群。创建集群的具体操作,请参见 创建集群。

通过EMR Workbench提交作业

提交方式 方式一 通过EMR notebook 提交作业 EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务,同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。详情请参见 快速使用EMR Notebook。...

实例状态说明

版本升级中 对实例软件版本进行更新。更新配置中 更改实例的参数设置。开通公网中 为实例分配公共IP地址。关闭公网中 移除实例的公共IP地址。实例系列升级中 将现有实例从当前系列迁移至更高级别的系列。集群重启中 整个集群正在重新启动。...

2025-01-20版本

通过Kyuubi Gateway,以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户(子账号)身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...

开源大数据平台E-MapReduce系统权限策略参考

本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...

基本概念

本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...

Presto概述

与EMR软件栈完美结合,支持DLF和OSS或OSS-HDFS。无需运维,EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog:一个Catalog可以包含多个Schema,物理上指向...

配置自定义软件

如果您需要调整这些服务的配置项,则可以在集群创建时使用软件自定义配置功能,以修改现有配置或添加新的配置项。使用限制 软件配置操作仅在集群创建时执行一次。操作步骤 登录 E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域 ...

EMR on ACK商业化公告

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后,将根据集群...

开启数据盘加密

加密数据盘后,数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求,则可以使用该功能。...创建集群时,您还需要对集群进行软件配置、硬件配置、基础配置和确认订单,配置详情请参见 创建集群。

Alluxio(仅对存量用户开放)

Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易被访问,同时使得应用程序能够通过一个公共接口连接...

SQL Editor

您可以直接在控制台上编写、运行和管理SQL查询语句,无需下载或安装任何本地客户端软件,极大地方便了数据分析师和开发人员对数据进行实时查询与分析。前提条件 已创建StarRocks实例,详情请参见 创建实例。进入SQL Editor 进入EMR ...

配置集群管理密码

说明 这些命令和软件包的具体使用方式可能因系统版本和配置而有所不同,建议您根据实际情况使用。单击 保存。在弹出的对话框中,输入 执行原因,单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域,单击 ...

E-MapReduce Serverless StarRocks服务等级协议(SLA...

2023年6月1日起,E-MapReduce Serverless StarRocks服务等级协议(SLA)生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。

EMR-3.28.x版本说明

更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...

智能文档摘要

这四部著名小说包括罗贯中的历史题材《三国演义》,吴承恩的神魔奇幻《西游记》,施耐庵的英雄传奇《水浒传》,以及曹雪芹的家族兴衰经典《红楼梦》。每部作品都独具特色,如《三国演义》描绘了东汉末年群雄争霸的历史,《西游记》展现了...

管理用户

EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...

技术支持的范围和方式

关于阿里云EMR Serverless Spark产品和服务的相关问题,您可以通过以下渠道寻求支持和解决。...填写相关问题信息,产品分类 选择 开源大数据平台 E-MapReduce。单击 提交。售后服务SLA 售后服务SLA详情,请参见 企业支持计划 的内容。

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成,并且可以和Apache Phoenix搭配使用...

EMR-3.29.x版本说明

Ranger 升级软件包至1.2.0-1.5.0。支持Presto 338。配置文件增加Description。HDFS 自适应配置datanode reserved空间大小。Knox 适配Impala、高版本Flink和PAI。Druid 升级至0.18.1版本。SmartData 升级至2.7.301版本。

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...

EMR Serverless Spark商业化公告

产品优势如下:云原生极速计算引擎 内置Fusion Engine(Spark Native Engine),相对开源版本性能提升300%。内置Celeborn(Remote Shuffle Service),支持PB级Shuffle数据,计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...

OSS/OSS-HDFS

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括 JindoFS 存储系统(原JindoFS Block模式)...

EMR Serverless StarRocks商业化发布

EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性,并详述EMR Serverless StarRocks在此基础之上所引入的诸多...

EMR Spark功能增强

阿里云E-MapReduce产品构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,做了大量优化。本文为您介绍E-MapReduce(简称EMR)Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件,随开源版本升级迭代,...

选型配置说明

Flink、Kafka、YARN OLAP 数据分析场景,其中核心组件ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,与Hadoop和Spark相比,ClickHouse更轻量级。ClickHouse支持线性扩展,简单方便,具有高可靠性和高容错。...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行...

Impala

当某一个Impalad进程由于节点异常、网络异常或软件问题等导致节点不可用时,StateStore确保将状况结果通知其他Impalad进程,当有新的查询请求时,Impalad进程将不会发送查询请求到该不可用的节点。Catalogd 部署在Master节点的master-1-1...

创建集群模板

集群模板中包含了您自主选择的用于创建集群的配置信息(密码除外),还可以存储任意配置信息,包括软件版本、实例类型和密钥对等,能够满足不同场景的个性化需求。通过集群模板功能,您可以快速一键创建EMR集群。使用限制 同一地域下最多可...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

EMR-3.33.x版本说明

本文介绍EMR-3.33.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.33.0 2021年1月15...EMRHook 新增软件服务。hive-hook:支持Hive元数据和作业运行信息输出至DataWorks。spark-hook:支持Spark元数据和作业运行信息输出至DataWorks。

实例类型

当您需要查看集群上服务的运行情况时,您可以通过软件的Web UI来查看。当您需要快速测试或者运行作业时,您可以登录主实例节点,然后通过命令行直接提交作业。登录主节点的具体步骤请参见 登录集群。核心实例节点(Core)核心实例节点是被...

安装第三方插件

EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。方式三:上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录:$FLUME_HOME/plugins.d/lib:插件本身的JAR包。FLUME_HOME/plugins.d/libext:插件依赖的JAR包...

EMR Hive功能增强

本文为您介绍E-MapReduce(简称EMR)各版本对应的Hive组件版本,以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR-5.x系列 EMR版本 组件版本 功能增强 EMR-5.12.1 Hive 3.1.3 Hive warehouse支持默认使用OSS-...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 微服务引擎 检索分析服务 Elasticsearch版 大模型服务平台百炼 人工智能平台 PAI 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用