Java运行环境说明
本文介绍SAE应用在部署时的Java运行环境，您可以根据实际需求选择。运行环境 运行环境 更新时间 JDK版本 操作系统版本 是否开源 是否维护 说明 Dragonwell 17 2022-07-11 17.0.3.0.3+7 CentOS Linux release 7.9.2009 是 是 更多信息，请...
Java运行环境说明
本文介绍SAE应用在部署时的Java运行环境，您可以根据实际需求选择。运行环境 运行环境 更新时间 JDK版本 操作系统版本 是否开源 是否维护 说明 Dragonwell 17 2022-07-11 17.0.3.0.3+7 CentOS Linux release 7.9.2009 是 是 更多信息，请...
SDK列表
语言 SDK 说明 Java 8 2021-10-15版本 SNAPSHOT 内测版不推荐 Java 8 2022-03-28版本 RELEASE 1.0 支持更高的安全性、并全部开源（开源地址 https://github.com/search?q=aliyun/aliyun-tpp ）Java 8 2022-07-08 版本 RELEASE 1.1 aliyun-...
Hive
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
SSH隧道访问开源组件Web界面
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
Spark3使用JDK 11
配置文件 配置项 配置值 spark-env.sh spark_java_home/usr/lib/jvm/java-11 spark-defaults.conf spark.yarn.appMasterEnv.JAVA_HOME/usr/lib/jvm/java-11 spark.driverEnv.JAVA_HOME/usr/lib/jvm/java-11 spark.executorEnv.JAVA_HOME/...
ClickHouse
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
开源组件常用端口
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
SQL与函数参考
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
通过控制台访问开源组件Web界面
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
查看账单
在 明细账单 页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（emr-serverless-spark）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（emr-serverless-spark）的RAM代码（RamCode）为 emr-serverless...
Paimon
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（starrocks）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（starrocks）的RAM代码（RamCode）为 starrocks、sr，支持的授权粒度为 操作...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
Flink SQL参考
IntervalJoin语句 复杂事件处理（CEP）语句 窗口函数 概述 滚动窗口 滑动窗口 会话窗口 OVER窗口 内置函数 支持的函数 标量函数 表值函数 聚合函数 自定义函数 Java 概述 自定义标量函数（UDSF）自定义聚合函数（UDAF）自定义表值函数...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
SmartData 3.5.x版本简介
JindoSDK Java使用JindoSDK时，JindoSDK日志输出到Java日志中，以提高可诊断性。新增SDK端使用内存统计日志，可以看到当前JindoSDK使用的内存大小。JindoTable计算优化 JindoTable新增native加速功能，可以对使用Spark、Hive或Presto读取...
资源中心
支持文件格式：txt、log、sh、bat、conf、cfg、py、java、sql、xml、hql、properties、json、yml、yaml、ini、js。输入 文件内容。单击 保存。上传文件 说明 上传文件大小不能超过500 MB。重新上传已存在的文件，会自动覆盖原有文件。在 ...
Phoenix
代码示例 import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.PreparedStatement;import java.sql.Statement;public class TestPhoenixJdbc { public ...
使用JDBC提交Presto作业
示例TrinoSqlConnection.java内容如下。package com.alibaba.emr;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util....
开源大数据平台 E-MapReduce系统权限策略参考
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
访问Web UI
访问开源组件的Web UI。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题 问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...
开源大数据平台 E-MapReduce系统权限策略参考
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
常见问题
本文汇总了使用EMR Serverless StarRocks时的常见问题。...禁用现有免密访问：在 实例配置 页签的以下文件中，清空下列配置项的值。core-site.xml fs.oss.credentials.provider=jindosdk....使用JAR文件，详情请参见 Java UDF 和 JDBC Catalog。
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
实时计算场景优化
java.io.IOException:Xceiver count 4097 exceeds the limit of concurrent xcievers:4096 at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:150)在客户端运行日志中发现如下报错。DataXceiver ...
安装和使用EMR Serverless Spark SDK
阿里云EMR Serverless Spark SDK支持Java、TypeScript、Go、PHP、Python、C#、C++、Swift语言SDK开发，封装了2023-08-08版本API，以访问密钥（AccessKey）识别调用者身份，提供自动签名等功能。安装EMR Serverless Spark SDK 各语言SDK的...
新版监控诊断功能发布
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
- 产品推荐
- 这些文档可能帮助您