简介
背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的，所有语法功能和使用限制遵循Spark Structured Streaming的标准，因此可以使用SQL语句来开发流式分析作业。注意事项 EMR集群是否支持Spark Streaming SQL功能与...
连接并使用实例
引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽表SQL连接宽表引擎 基于Java JDBC接口的应用开发 基于Python DB-API的应用开发 通过Lindorm-cli连接并使用宽表引擎 通过HBase API连接宽表引擎 基于HBase Java API的应用开发 基于HBase...
释放集群
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件 请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤 登录 EMR on ACK。...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
上传资源
在执行任务前，必须先将所需的文件或JAR包等资源上传至EMR Serverless Spark，以确保任务运行时可以无缝地访问和使用所有必要资源。...后续操作 在上传资源后，您可以在后续的任务开发中将已上传的文件作为依赖项或输入数据源来调用。
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
访问Web UI
访问开源组件的Web UI。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题 问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
Presto
背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。无需配置，所有配置都是自动完成。Zeppelin的Presto解释器提供以下主要功能：支持任何Presto SQL语句（包括DDL和DML等）。支持多行SQL，每条SQL语句以分号;...
Flink SQL参考
Flink SQL是为了简化计算模型、降低您使用Flink门槛而设计的一套符合标准SQL语义的开发语言。本文通过以下方面，为您介绍Flink SQL的使用方法。操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句（INSERT INTO）INSERT ...
Shell作业配置
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Shell类型作业。在页面左侧，在...
管理用户
开发者 开发者仅具有首页、项目管理和资源中心功能模块的操作权限。说明 添加用户后，该用户可以访问该工作空间。不支持对root用户的编辑和删除操作。相关文档 创建任务和工作流前，您需要先创建项目，详情请参见 创建项目。创建任务和工作...
Hive
背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。您无需配置，所有配置都是自动完成。Zeppelin的Hive解释器提供以下主要功能：支持任何Hive SQL语句（包括DDL和DML等）。Hive解释器与Beeline支持的语言及...
Sqoop作业配置
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Sqoop类型作业。在页面左侧，在...
删除数据开发项目
调用DeleteFlowProject接口，删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
修改数据开发项目
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
Delta Lake概述
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
SDK下载
阿里云E-MapReduce SDK...下载地址 aliyun-java-sdk-core：访问 阿里云开发工具包（SDK）获取阿里云的SDK核心库。aliyun-java-sdk-emr：访问 aliyun-java-sdk-emr 获取E-MapReduce的部分依赖。说明 SDK包更新频繁，建议您获取最新版本的SDK。
Hive SQL作业配置
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Hive SQL类型作业。在页面左侧，...
创建数据开发项目
调用CreateFlowProject接口，创建数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
Hadoop DistCp介绍
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
数据源支持概述
从EMR-3.21.0版本开始支持使用Spark SQL开发流式分析作业。本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 ...
Spark Shell作业配置
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Spark Shell类型作业。在页面左侧...
DataHub数据源
本文介绍如何使用DataHub数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING datahub OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建DataHub表时，无需显式定义表的字段信息，...
旧版控制台文档说明
该目录下的文档仅适用于旧版控制台，E-Mapreduce（简称EMR）计划分阶段下线旧版控制台，详情请参见 EMR旧版控制台下线公告。建议您切换至 EMR新版控制台 管理集群，相应新版文档如下：集群管理：详情请...数据开发：详情请参见 EMR Studio。
YARN概述
说明 该组件仅用于监控单个作业的资源使用情况，不会导致数据作业的开发、运行和提交失败。WebAppProxyServer 负责作业链接跳转，降低基于Web的攻击。ApplicationMaster 负责应用程序相关事务。例如，ApplicationMaster负责协调来自...
JAR任务快速入门
操作步骤 步骤一：开发JAR包 在EMR Serverless Spark中，不直接提供集成的JAR包开发环境，因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本快速入门为了带您快速熟悉JAR任务，为您提供了工程文件以及测试JAR包，...
云监控事件编码
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
管理DAG
如果是开发环境或测试环境，建议您使用 方式二：在Airflow Web UI页面管理DAG。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。已绑定计算集群。注意 绑定集群页签下，仅显示同一个VPC下的EMR集群。仅支持绑定Hadoop集群...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
初始化
背景信息 OpenAPI开发者门户 提供在线调试API和动态生成SDK示例代码的功能，能显著降低API的使用难度，推荐您使用。环境准备 在Eclipse项目中使用阿里云E-MapReduce OpenAPI Java SDK。请确保代码运行环境设置了环境变量ALIBABA_CLOUD_...
基本概念
概念 说明 工作空间（Workspace）工作空间是EMR Serverless Spark为业务开发而划分的基本单元，是任务、资源和权限的集合。每个工作空间的任务、计算资源以及权限都是隔离的。资源队列（Resouce Queue）EMR Serverless Spark采用CU...
- 产品推荐
- 这些文档可能帮助您