EMR HDFS

已创建 EMR集群,具体参见EMR集群创建已创建DDI集群,具体请参见DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR HDFS数据源1.查看EMR创建集群信息2.进入DDI集群选择数据源,选择添加数据源3.查看是否添加成功4.非HA集群查看...

EMR上使用Sqoop与数据库同步数据时的网络配置

如果您的E-MapReduce(EMR集群需要和集群之外的数据库同步数据,确保网络是联通的。本文以RDS、ECS自建和云下私有数据库三种情况为例,分别介绍如何配置网络。云数据库RDSSqoop是用map任务同步数据,可以在任意节点上运行,而Sqoop任务...

访问外部数据源

在所选类型的数据源列表里勾选希望绑定的EMR集群或ECS实例(支持复选)。建议补充数据源描述信息,便于辨识已绑定数据源实例。点击下一步,确认安全组和交换机信息。说明 对于Aliyun EMR HDFS和Aliyun EMR Kafka类型数据源,目前支持各自...

阿里云试用中心,为您提供0门槛上云实践机会!

100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!
广告

集群资源概述

E-MapReduce(简称EMR集群资源管理主要应用于大集群多租户场景中。目前仅支持对E-MapReduce Hadoop类型的集群进行管理。背景信息管理EMR集群资源可以帮助您实现以下目标:集群资源中不同部门或用户使用不同的资源队列,实现队列资源的...

使用EMR和DLF构建数据湖

前提条件登录EMR控制台、OSS控制台和数据湖构建产品控制台,分别开通3个产品。操作步骤创建EMR集群创建EMR Hadoop集群并选择使用数据湖元数据,详细步骤可以参考EMR中元数据管理部分中的数据湖元数据,。使用Hive创建Table1. 登录OSS控制台...

EMR on DataWorks访问模式概述

登录EMR管理控制台。在顶部菜单栏,单击数据开发。在项目列表页面,单击相应项目后的作业编辑。在顶部菜单栏,单击项目管理。在左侧导航栏,单击通用配置,开启安全模式。导入阿里云RAM用户至EMR LDAP。在EMR管理控制台的顶部菜单栏,单击...

云数据库专属集群 MyBase

云数据库专属集群 MyBase 是由多台主机(底层服务器,如ECS I2服务器、神龙服务器)组成的集群,相对于全托管数据库,可以实现更灵活的资源调度、更强大的企业级数据库服务、更丰富的权限等。

Shell

Zeppelin支持Shell脚本...使用示例 运行hadoop命令执行如下命令会显示当前EMR集群根目录下的所有文件,切换到不同的EMR集群,会显示不同集群下的情况。hadoop fs-ls 返回信息如下图所示:运行Spark-Submit命令提交Spark作业。示例如下图所示:

JindoFS

版本确认:JindoFS依赖SmartData组件,DDI读写JindoFS之前需要确保目标EMR集群中的SmartData组件版本与DDI集群中SmartData版本大版本一致(即客户端与服务端在版本2.7.x之间兼容,在3.1.0及以上版本之间兼容)本案例DDI和EMR集群使用的...

数据源

本文将解答与数据源相关的问题 Q:Databricks数据洞察的支持哪些数据源?目前支持读写阿里云对象存储(OSS)的数据。Q:是否支持当前的DDI集群访问其他集群的HDFS数据?支持访问同账号下的EMR Hadoop集群上的HDFS数据。

概述

支持连接多个集群您无需为每个EMR计算集群(Hadoop集群、Dataflow集群或Data Science集群)创建一个Data Development集群,因为一个Data Development集群可以连接多个EMR计算集群。通过EMR自带的数据开发工作台提交作业时,您可以切换计算...

ECS应用角色(EMR 3.32之后版本和EMR 4.5之后版本)

4.5之后版本,将Metaservice服务替换为ECS应用角色,在EMR集群创建和扩容时自动分配给EMR集群中的每个ECS实例。在EMR集群之上运行的应用程序通过该角色来获得与其他云服务交互的权限,实现以免AccessKey的方式访问阿里云资源,避免了在配置...

TPCH和TPCDS

Zeppelin自带了TPCH和TPCDS的教程Note,您无需任何配置就可以在E-MapReduce(简称EMR)数据开发集群进行TPCH和TPCDS的性能测试。背景信息EMR数据开发集群中的TPCH支持Hive、Spark、Flink和Presto四个引擎,TPCH详细信息,请参见TPC-H。EMR...

使用限制

ResourceManager或HBase HMaster无法正常切换,该情况只能重新购买EMR集群,迁移数据/任务。非HA集群,删除Master节点,会导致集群不可用,无法迁移数据和任务。无 禁止在ECS控制台直接删除Task节点 执行在删除节点上的作业执行失败。您...

使用Tablestore作为存储后端

前提条件 已创建EMR集群。详情请参见创建集群。已创建Tablestore实例,推荐使用高性能实例。详情请参见创建实例。说明 需要开启事务功能。背景信息JindoFS在新版本中,支持使用Tablestore作为JindoFS元数据服务(Namespace Service)的存储...

使用Tablestore作为存储后端

前提条件 已创建EMR集群。详情请参见创建集群。已创建Tablestore实例,推荐使用高性能实例。详情请参见创建实例。说明 需要开启事务功能。背景信息JindoFS在新版本中,支持使用Tablestore作为JindoFS元数据服务(Namespace Service)的存储...

自建Hadoop数据迁移到阿里云E-MapReduce

客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景本实践方案提供如下场景的最佳实践:基于IPSec VPN隧道+ DistCp(Hadoop原生工具),将数据...

查询标签列表

调用ListTagResources,查询一个或多个EMR集群已经绑定的标签列表。调用该接口时注意以下信息: 请求中至少指定一个参数:ResourceId.N、Tag.N(Tag.N.Key与Tag.N.Value),以确定查询对象。同时指定Tag.N和ResourceId.N时,返回结果中仅...

创建集群

本文为您介绍如何基于kubernetes创建E-MapReduce(简称EMR集群。前提条件 已创建Kubernetes集群,详情请参见创建Kubernetes专有版集群或创建Kubernetes托管版集群。已为创建的Kubernetes集群设置了EMR的专属节点,详情请参见设置EMR专属...

准备环境

创建EMR集群登录E-MapReduce控制台。选择华东2(上海)区域,单击创建集群。说明 由于源数据存储在华东2(上海),建议EMR集群创建在相同的区域。您可以通过一键购买和自定义购买两种方式创建EMR集群,本文以自定义购买为例。在自定义...

配置Hue访问Presto服务

EMR-3.33.0及后续版本或EMR-4.6.0及后续版本的集群已经默认支持Hue访问E-MapReduce(EMR集群的Presto服务。本文为您介绍EMR-3.33.0以前版本或EMR-4.6.0以前版本的集群如何通过配置Hue访问Presto服务。前提条件 已创建EMR-3.33.0以前版本...

HBase数据源

控制台绑定HBase数据源 使用场景:与LTS处于同一个...EMR HBase集群。不同与LTS所在VPC的云HBase集群。添加步骤: 登录LTS操作页面,选择 数据源管理->HBase数据源。进入HBase数据源的管理界面,点击添加数据源。录入集群的信息,点击添加。

RAM认证

E-MapReduce(简称EMR集群中的Kerberos服务端除了支持第一种兼容MIT Kerberos的使用方式,也支持Kerberos客户端使用RAM用户作为身份信息进行身份认证。RAM身份认证RAM产品可以创建或管理RAM用户,通过RAM用户实现对云上各个资源的访问...

EMR集群运行TPC-DS Benchmark

如果您同时使用了数据湖构建(DLF)来保存Hive表的元数据,数据生成后,您可以随时释放当前的EMR集群,并在同一地域的其他EMR集群上再次查询当前生成的TPC-DS数据。获取Hive表统计信息。推荐使用Hive SQL ANALYZE命令获取Hive表统计信息...

使用EMR

通过远程登录工具(例如PuTTY)登录EMR Header服务器。执行如下命令运行Spark SQL。spark-sql-master yarn num-executors 5-executor-memory 1g-executor-cores 2使用SQL语句创建指向OSS数据目录的外表。请使用通过表格存储控制台获取的SQL...

HBase数据源

本文档主要介绍如何添加HBase数据源。控制台自动关联 前提条件 LTS与云HBase所处同一个VPC网络。操作步骤 登录HBase管理控制台。在集群列表页,单击BDS目标实例。在左侧导航栏选择数据...(自建、EMR集群需要)默认 单击添加,录入集群的信息。

缩容集群

目前仅支持对EMR集群的Task节点缩容,集群还需满足以下条件: EMR集群版本2.x高于2.5.0,3.x高于3.2.0。集群状态为空闲或运行中。集群付费类型为按量付费。操作步骤 进入集群管理页签。登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据...

数据湖元数据

多个EMR集群可以共享统一元数据库。前提条件已在数据湖构建(Data Lake Formation)控制台开通数据湖构建。注意 数据湖元数据产品目前只支持华北2(北京)、华东1(上海)和华东2(杭州)三个地域。背景信息数据湖元数据已适配EMR的Hive 2....

共享独立RDS元数据库

本文介绍如何配置独立的阿里云RDS,作为Databricks数据洞察集群的元数据。前提条件E-MapReduce(简称EMR)已配置过独立...打通EMR集群绑定RDS元数据库,需要将Databricks集群的VPC网络与EMR集群所在的VPC网络打通。详情参见访问外部数据源。

Hive统一元数据

如果您需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一元数据之后,释放集群不会清理元数据信息。所以,在任何时候删除OSS上或者集群HDFS上数据(包括释放集群操作)的时候,需要先确认该数据对应的元数据已经删除...

自建Hadoop数据迁移到阿里云EMR

场景描述场景1:自建Hadoop集群数据(HDFS)迁移到阿里云EMR集群的HDFS文件系统。场景2:自建Hadoop集群数据(HDFS)迁移到计算存储分离架构的阿里云EMR集群,以OSS和JindoFS作为EMR集群的后端存储。解决的问题 客户自建Hadoop迁移到阿里云...

解绑标签

调用UntagResources接口,为指定的EMR集群列统一解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。调试您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

使用Raft-RocksDB-Tablestore作为存储后端

Master的EMR集群,详情请参见创建集群。说明 如果没有部署方式,请提交工单处理。背景信息RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会...

OpenLDAP

登录集群的Master节点,编辑arch.ldif文件。dn: uid=arch,ou=people,o=emrcn:archsn:archobjectClass:inetOrgPersonuserPassword: 12345678uid:arch添加LDAP信息。ldapadd-H ldap:/emr-header-1:10389-f arch.ldif-D uid=admin,o=emr-w${...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折