2025-01-20版本

通过Kyuubi Gateway,以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户(子账号)身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...

开源大数据平台E-MapReduce系统权限策略参考

本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...

基本概念

本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...

EMR on ACK商业化公告

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后,将根据集群...

Kafka Manager

操作步骤 使用SSH隧道方式访问Web页面,详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露,建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...

Alluxio(仅对存量用户开放)

Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易被访问,同时使得应用程序能够通过一个公共接口连接...

E-MapReduce Serverless StarRocks服务等级协议(SLA...

2023年6月1日起,E-MapReduce Serverless StarRocks服务等级协议(SLA)生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。

管理用户

EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...

技术支持的范围和方式

关于阿里云EMR Serverless Spark产品和服务的相关问题,您可以通过以下渠道寻求支持和解决。...填写相关问题信息,产品分类 选择 开源大数据平台 E-MapReduce。单击 提交。售后服务SLA 售后服务SLA详情,请参见 企业支持计划 的内容。

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成,并且可以和Apache Phoenix搭配使用...

Kerberos

在这种高安全级别的集群中,所有开源组件均采用Kerberos安全模式启动,确保只有经过Kerberos认证的客户端能够访问集群提供的服务(例如HDFS)。背景信息 集群开启Kerberos之后:客户端:可以对可信任的客户端提供认证,使得可信任客户端...

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...

EMR Serverless Spark商业化公告

产品优势如下:云原生极速计算引擎 内置Fusion Engine(Spark Native Engine),相对开源版本性能提升300%。内置Celeborn(Remote Shuffle Service),支持PB级Shuffle数据,计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...

OSS/OSS-HDFS

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括 JindoFS 存储系统(原JindoFS Block模式)...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks,并且具备自动升级软件版本的功能,可省去手动管理版本的繁琐与风险。迁移方案详情,请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...

EMR Serverless StarRocks商业化发布

EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性,并详述EMR Serverless StarRocks在此基础之上所引入的诸多...

EMR Spark功能增强

阿里云E-MapReduce产品构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,做了大量优化。本文为您介绍E-MapReduce(简称EMR)Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件,随开源版本升级迭代,...

选型配置说明

Flink、Kafka、YARN OLAP 数据分析场景,其中核心组件ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,与Hadoop和Spark相比,ClickHouse更轻量级。ClickHouse支持线性扩展,简单方便,具有高可靠性和高容错。...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的 enableLDAP。...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

Kerberos概述

在这种高安全级别的集群中,所有开源组件均采用Kerberos安全模式启动,确保只有经过Kerberos认证的客户端能够访问集群提供的服务(例如HDFS)。背景信息 集群开启Kerberos之后:客户端:可以对可信任的客户端提供认证,使得可信任客户端...

EMR Hive功能增强

本文为您介绍E-MapReduce(简称EMR)各版本对应的Hive组件版本,以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR-5.x系列 EMR版本 组件版本 功能增强 EMR-5.12.1 Hive 3.1.3 Hive warehouse支持默认使用OSS-...

Fusion引擎

Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎,相比开源Spark在TPC-DS基准测试上有2倍性能提升。Fusion引擎与开源Spark完全兼容,您无需对现有代码做任何修改。在EMR Serverless Spark中,只需在创建会话时开启 使用...

接入开源版 SOFA 注册中心

默认情况下,Spring Cloud SOFA 会自动配置该参数以便让应用接入商业版 SOFA 中间件,如果要使用非商业版中间件,需要手动修改此配置。重要 修改此配置将导致应用无法连接任何商业版 SOFA中间件,如 DRM、SOFAMQ 等,因此正常情况下请勿...

JindoSDK下载安装和升级

本文将为您提供JindoSDK的下载安装和升级引导以及版本说明。说明 您购买的EMR集群中,默认已安装完整的JindoSDK产出物。安装路径为/opt/apps/JINDOSDK/jindosdk-current/。...更多生态环境详情请参见 通过JindoSDK接入开源生态。

EMR-3.24.x版本说明

支持其他开源已有特性。Grafana 新增组件(Flink独立集群),版本6.4.2。Prometheus 新增组件(Flink独立集群),版本2.13.0。AlertManager 新增组件(Flink独立集群),版本0.19.0。TensorFlow on spark 支持TensorFlow框架置于Spark之上...

E-MapReduce支持倚天云服务器

阿里云E-MapReduce(简称EMR)支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下,具有更高的性价比,帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势,以及在E-Mapreduce上倚天云服务器的...

EMR集群的合规性

ISO27701 ISO27701是业内公认最具权威性的隐私管理体系建设指导标准,阿里云为全球首批获得该认证的云服务提供商。ISO27799 ISO27799提供针对医疗卫生组织的信息安全管理指南,体现了医疗信息安全管理的专业性。ISO29151 ISO29151为企业在...

EMR元数据迁移公告

数据湖元数据DLF是阿里云提供的统一元数据服务,具有高可用、免运维和高性能等优点,兼容Hive Metastore,无缝对接EMR上开源计算引擎,并支持多版本管理和Data Profile功能。另外,DLF还支持数据探索、湖管理和数据权限控制等功能,并与...

EMR Serverless Spark合规性

ISO27701 ISO27701是业内公认最具权威性的隐私管理体系建设指导标准,阿里云为全球首批获得该认证的云服务提供商。ISO27799 ISO27799提供针对医疗卫生组织的信息安全管理指南,体现了医疗信息安全管理的专业性。ISO29151 ISO29151为企业在...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce(简称EMR)的产品生命周期策略及产品终止策略(包含产品粒度与发行版本粒度),以便您知晓详细规则,提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

E-MapReduce合规性

ISO27701 ISO27701是业内公认最具权威性的隐私管理体系建设指导标准,阿里云为全球首批获得该认证的云服务提供商。ISO27799 ISO27799提供针对医疗卫生组织的信息安全管理指南,体现了医疗信息安全管理的专业性。ISO29151 ISO29151为企业在...

AI开源项目

阿里云开源的AI及大数据相关开源项目,如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等,您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。

Alibaba Cloud Linux 3软件兼容性列表

中间件 Grafana 9.2.10 开源组件 中间件 keepalived 2.2.8 开源组件 中间件 Nginx 1.23.3 开源组件 中间件 openjdk 1.8.0.422 开源组件 中间件 openjdk 11.0.23.0.9 开源组件 中间件 openjdk 17.0.11.0.9 开源组件 中间件 tengine 2.4.0 ...

EMR旧版数据开发迁移公告

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。EMR ...

EMR-5.2.x版本说明

优化CBO(Cost-Based Optimization)、DPP(DynamicPartitionPruning)以及Z-Order等功能,性能比开源Spark 3版本提升50%。支持阿里云Log Service、DataHub和消息队列RocketMQ版(简称ONS)等数据源。Tez 优化Tez默认参数,以提升作业性能...

开启Nacos开源控制台

Nacos引擎提供一个默认的控制台操作页面,即 开源控制台。由于此控制台安全能力较弱,MSE Nacos从 2.2.3.1 版本开始,将 默认关闭 开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件 开通MSE。已创建Nacos引擎。具体操作,请...

快速使用EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。本文以...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce(简称EMR)的产品生命周期策略及产品终止策略(包含产品粒度与发行版本粒度),以便您知晓详细规则,提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 开源大数据平台 E-MapReduce 微服务引擎 检索分析服务 Elasticsearch版 大模型服务平台百炼 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用