Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
Hadoop DistCp介绍
本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 Hadoop DistCp的功能和使用方法等详细信息，请参见 Hadoop社区的DistCp使用文档。Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 ...
功能与优势
上下游数据连接（Connector）涵盖阿里云产品和开源社区30+主流引擎，涉及数据库、消息中间件、数据仓库、湖格式、文件系统等多种上下游存储。支持特有数据模拟Connector贴近业务含义的测试数据。相对开源版本，Connector也有诸多易用性和...
EMR Hive功能增强
EMR-3.35.0 Hive 2.3.7 修复Fetch Task相关的社区问题。EMR-3.34.0 Hive 2.3.7 优化了部分默认配置。性能优化：增强CBO。支持一键开启或关闭LDAP功能。开启或关闭LDAP功能详情，请参见 管理LDAP认证。升级Calcite版本至1.12.0。增加参数 ...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
常见问题
本文汇总了DataFlow集群使用时的常见问题。集群使用与运维：DataFlow集群外的机器，如何提交作业到DataFlow集群？在DataFlow集群外机器上，如何解析DataFlow集群中的hostname？如何查看Flink作业的运行状态？如何访问Flink作业的日志？如何...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
常见问题
本文汇总了Kudu使用时的常见问题。在哪里查看Kudu的日志文件？Kudu支持的分区方式有哪些？如何访问Kudu WebUI？Kudu客户端连接报错NonRecoverableException 如何查看社区FAQ？报错Bad status:Network error:Could not obtain a remote ...
产品架构
EMR开源优化 EMR基于开源社区版本的组件，增强了其性能和功能，例如：Spark中增加了Spark Streaming SQL，性能较开源版本有大幅提升，详情请参见 简介。Delta Lake相较开源版本增加了ZOrder和Data Skipping能力，详情请参见 Delta Lake概述...
功能特性
支持Dry-Run试运行模式 可扩展与生态集成 功能 开源社区 标准版 企业版 旗舰版 插件市场 EnvoyFilter多版本API兼容适配 对接第三方注册中心 内置集成云原生推理服务框架KServe 内置集成Argo CD、Rollouts、KubeVela的应用发布的最佳实践 ...
什么是EMR on ECS
采用开源社区版本，性能需自行优化。易用性 分钟级别启动Hadoop集群，敏捷响应业务需求。采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS...
产品优势
优势 说明 开箱即用 100%兼容开源社区产品Nacos、ZooKeeper和Eureka，业务代码无需任何改造，修改集群注册中心地址后，可快速使用。注册配置中心全托管 提供全托管集群，您无需关注引擎的资源购买、监控、运维和容灾问题，只需专注于业务...
免费体验Lindorm宽表性能&价格力
本文介绍了如何免费体验Lindorm宽表引擎和开源社区版HBase的性能&价格力对比。背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限...左侧是原生Spark的架构图，右侧的Spark on MaxCompute运行在阿里云自研的Cupid平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架。
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
使用限制
常见问题处理 问题 建议 磁盘容量不足 因为EMR集群的Master节点不支持磁盘数量的增加，所以您可以在EMR控制台调大单块磁盘的容量，或扩容Core节点。磁盘容量过剩 因为EMR集群不支持磁盘容量缩容，所以您可以重新购买集群，详情请参见 创建...
EMR Kafka ECS磁盘事件处理
事件处理概述 EMR Kafka Broker节点的ECS磁盘事件处理与响应和普通的ECS实例不完全相同，在ECS磁盘事件流程的不同阶段，需要穿插Kafka Broker相应的运维操作。整个流程大致可以分为磁盘下线、等待ECS磁盘修复和磁盘上线3个阶段。本文以故障...
产品优势
稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据...
产品优势
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，覆盖绝大部分开源基础设施软件指标采集能力。提供多种开箱即用的预置监控大盘，并集成丰富的Kubernetes基础监控以及常用服务预设看板，且提供全面...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
使用Spark处理JindoFS上的数据
Spark中读写JindoFS上的数据，与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据...
访问Web UI
常见问题 问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备公网Ingress Controller以提供公网可达的域名，并转发请求到相应Service。如果创建ACK集群时没有勾选Ingress组件，则可以按照以下步骤为...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
开源自建对比
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
Delta Lake概述
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
大语言模型
其中1.8B模型基于最新在魔搭社区开源的 最新版本，7B模型基于最新在魔搭社区上开源的 V1.1版本，而14B模型同样基于魔搭社区上 最新版本 提供，72B模型基于魔搭社区开源的 最新版本 提供。模型服务 模型名称 模型描述 应用场景 通义千问72B ...
Iceberg概述
查询性能 高 较高 较高 存储成本 非常高 一般 低 自助服务 不支持 不支持 支持 资源弹性 一般 一般 优秀 与开源Iceberg对比 从基础功能、数据变更和计算引擎等方面，对比了阿里云Iceberg与开源Iceberg，详细信息如下表。说明“√”表示支持...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
创建集群
Flink on Ack基于EMR on Ack底座与社区Flink Kubernetes Operator 1.0.1版本开发，默认使用Flink官方团队推出的企业版内核，旨在为用户提供开箱即用的Flink on K8s体验。Data Science：请参见 创建Data Science集群。产品版本 默认最新的...
EMR-4.10.x版本说明
修复了Spark 3.1.1版本与HBase集成使用时失败的问题。优化了Graceful Stop流程。Zookeeper 升级至社区3.6.3版本。Presto 升级Presto至社区358版本。支持UDF动态加载功能，详情请参见 动态加载UDF。支持数据湖分析。Impala 修复了直接删除...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
- 产品推荐
- 这些文档可能帮助您