OpenLDAP
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
相关协议
阿里云产品服务协议 无影云电脑（企业版）隐私政策 无影云电脑（个人版）隐私政策 无影云手机隐私政策 无影管家第三方开源软件声明 无影客户端（Windows和macOS）第三方开源软件声明 无影硬件终端第三方开源软件声明
应用市场
概述 应用市场的软件应用包括应用目录，应用目录中的软件是容器服务ACK基于开源软件做了适配和二次开发，其中包含了运行一个应用所需要的镜像、依赖和资源定义等。应用目录中有简介、安装步骤、参数配置项、注意事项等信息。您可以通过Helm...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
迁移场景
软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
E-MapReduce支持倚天云服务器
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
常见问题
ACK管控控制台中，“有状态”界面下的shuffleservice-worker容器组数量"3/1000"是什么含义？3/1000"表示当前ShuffleService-Worker的实例数量为3个，而集群的最大可扩展容量上限为1000个。如果还有类似的告警信息，可以直接忽略。0/18 ...
常见问题
Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么还有很多小文件？如果想删除最近产生的小文件（这些小文件已经被合并），应该如何处理？执行了Vacuum，...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它...快速入门 EMR Notebook 快速使用EMR Notebook EMR Workflow 手动任务快速入门 工作流快速入门 相关文档 什么是EMR Notebook 什么是EMR Workflow
概述
如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR ...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
授权信息
操作（Action）下表是 开源大数据平台 E-MapReduce（emr-serverless-spark）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指...
授权信息
操作（Action）下表是 开源大数据平台 E-MapReduce（starrocks）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的...
滚动窗口
什么是滚动窗口 滚动窗口（TUMBLING）将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分成[0:00-0:05)、[0:05,0:10)和[0:10,...
滑动窗口
什么是滑动窗口 滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的大小，slideDuration为每次滑动的步长，两者关系如下：...
常用工具参考
EMR-3.52.0及其后续版本，以及EMR-5.18.0及其后续版本，均在镜像内预装了阿里云CLI和ossutil 2.0，安装路径位于/usr/local/bin/目录下。工具简介如下所示。工具 简介 命令行工具ossutil 2.0（预览版）...更多信息，请参见 什么是阿里云CLI。
Spark Native引擎使用说明（Beta）
请注意，EMR on ECS形态已下线Spark Native引擎。目前，仅在EMR Serverless Spark形态提供Fusion Engine（Spark Native Engine）。更多信息，请参见 什么是EMR Serverless Spark。
Flink（VVR）作业配置
VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...
授权信息
操作（Action）下表是 开源大数据平台 E-MapReduce（Emr）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口...
内表数据源
本文为您介绍什么是内表数据源（Default Catalog），以及如何使用Default Catalog查询StarRocks内部数据。Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog（内部数据目录），用于管理StarRocks的内部数据。每个StarRocks...
EMR Workflow公测说明
介绍EMR Workflow公测说明。公测时间说明 EMR Workflow公测已于2023年6月29日开启，预计于2024年01月10日结束。公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Workflow EMR Workflow角色授权 工作流快速入门
安装HBase Java SDK
如果客户端是开源HBase 1.x版本，您可以在Maven项目的 pom.xml 文件中添加以下依赖来安装HBase Java SDK。dependency groupId com.aliyun.hbase /groupId artifactId alihbase-client /artifactId version 1.8.8 /version /dependency 如果...
EMR Serverless Spark免费公测说明
介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年09月13日结束。公测阶段面向所有用户开放，您可以...什么是EMR Serverless Spark 创建工作空间 SQL开发快速入门
EMR Notebook公测说明
本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步按地域开启公测，公测面向所有用户开放。您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Notebook EMR Notebook角色授权 快速使用EMR Notebook
选型配置说明
StarRocks是开源MPP（Massively Parallel Processing）架构的OLAP分析引擎，支持亚秒级的数据查询和多表JOIN功能。ClickHouse、StarRocks、Zookeeper DataServing 数据服务场景，提供更灵活、可靠、高效的数据服务集群。提供HBase服务，...
EMR Serverless Spark自定义权限策略参考
什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后，需为RAM用户、用户组或RAM角色绑定权限...
产品优势
不支持 不支持 性能 吞吐性能 单机吞吐是开源HBase的7倍，详情请参见 测试结果分析。无 无 请求毛刺 P99延迟是开源HBase的1/10，详情请参见 测试结果分析。请求毛刺频繁 请求毛刺频繁 成本 存储成本 支持性能型、标准型、容量型等多种存储...
EMR Serverless StarRocks自定义权限策略参考
什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后，需为RAM用户、用户组或RAM角色绑定权限...
配置监控告警
更多信息，请参见 什么是云监控。开启一键告警 您可以开启云监控的一键告警功能，快速自动建立Serverless StarRocks指定监控项的报警体系，以便及时获取关键监控指标的异常信息。重要 开启此功能后，会创建磁盘IO使用率、CPU空闲率和磁盘...
E-MapReduce自定义权限策略参考
什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后，需为RAM用户、用户组或RAM角色绑定权限...
为RAM用户授权
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
为RAM用户授权
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在E-MapReduce中，RAM的典型使用场景如下：用户：您可以通过RAM用户对项目组开发、运维等不同角色人员进行授权，实现不同RAM用户拥有不同资源访问权限。...
StarRocks
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
迁移概述
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR）的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区...
OSS/OSS-HDFS
更多信息，请参见 什么是对象存储OSS。OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。...
- 产品推荐
- 这些文档可能帮助您