通过OSS SDK接入开源生态

开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...

迁移场景

开源软件开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息,请...

迁移概述

其中,软件迁移支持迁移自研软件开源软件:自研软件:指开发者开发的或者基于开源软件增强开发的软件。具体操作,请参见 源码迁移。开源软件:指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...

PySpark开发快速入门

在EMR Serverless Spark页面,单击左侧导航栏中的 文件管理。在 文件管理 页面,单击 上传文件。在 上传文件 对话框中,单击待上传文件区域选择Python文件,或直接拖拽Python文件到待上传文件区域。本文示例是上传DataFrame.py。上传数据...

JAR开发快速入门

在EMR Serverless Spark页面,单击左侧导航栏中的 文件管理。在 文件管理 页面,单击 上传文件。在 上传文件 对话框中,单击待上传文件区域选择本地JAR包,或者直接拖拽JAR包到待上传文件区域。本文示例是上传spark-examples_2.12-3.3.1....

管理手动任务

如果其他参数中引用了资源文件,需要选择在 资源中心 的 文件管理 页面,创建或者上传的文件。自定义参数 任务自定义参数,会替换脚本中${变量} 的内容。更多参数配置信息,请参见 参数说明。在 手动任务定义 页面,单击目标任务操作列的 ...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的 enableLDAP。...

Kafka常见问题

是否可以停止Kafka-Manager服务 Kafka-Manager只是Kafka集群的管理软件,Kafka对外提供读写服务不依赖Kafka-Manager服务。如果您没有集成其他Kafka管理平台,建议您保留Kafka-Manager服务。如果您确认不需要Kafka-Manager服务,您可以直接...

E-MapReduce支持倚天云服务器

丰富的生态:倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构:基于2*50 GB网络架构提供大带宽以及超强转发能力,对比上一代CIPU架构,网络带宽提升1倍。安全增强:支持vTPM特性,依托TPM/TCM芯片,实现从服务器到...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 TrinoMaster 操作列的 enableLDAP。在弹出...

支持 Spark Thrift Server 服务

全托管 Spark 支持 Spark Thrift Server 服务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持 Spark Thrift Server 服务,允许以 JDBC 协议连接并提交任务。产品文档 管理Spark Thrift Server

上传文件

在 EMR Serverless Spark 页面,单击左侧导航栏中的 文件管理。在 文件管理 页面,单击 上传文件。在 上传文件 对话框中,单击待上传文件区域选择本地文件,或者直接拖拽目标文件到待上传文件区域。后续操作 在上传资源后,您可以在后续的...

资源中心

当您在调度过程中需要使用第三方的JAR或者需要自定义脚本时,可以在文件管理页面进行相关操作。本文为您介绍如何创建文件和上传文件。使用限制 每个账号在每个地域的资源中心,允许的文件上传总量上限为5 GB。创建文件 进入资源中心页面。...

Workflow 新增工作空间管理

EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流,分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间

Serverless Spark 支持运行环境管理

Notebook默认安装matplotlib、numpy和pandas,支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库,可以创建运行环境。...产品文档 管理运行环境

StarRocks 支持多维度健康报告

StarRocks支持多维度健康报告,提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容,并通过示例阐明其潜在的应用场景。该健康报告提供了前一天(T+1)的...产品文档 管理健康报告

会话管理

会话是指EMR Serverless Spark工作空间中可用的Spark Session。会话资源类型 在Serverless Spark中,支持以下会话类型:SQL会话:用于SQL开发和查询。...相关文档 管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话

支持管理健康检查项

E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查,及时对异常或风险点进行处理。...产品文档 管理健康检查项

Workflow 工作流支持提交至集群模板执行

EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行,工作流运行时会根据模板创建集群,工作流结束后释放集群,帮助用户降低集群使用成本。产品文档 管理集群或模板

StarRocks支持缓存分析报告

EMR Serverless StarRocks提供的健康报告,并通过示例阐明其潜在的应用场景。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 健康报告中增加缓存分析报告,可以按照表维度、SQL维度分析缓存现状和问题,...产品文档 管理健康报告

集群节点供应支持尽力交付模式

在进行按量付费节点组的扩容时,系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时,如果ECS库存不足或ECS服务部署失败,系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付

支持创建Master-Extend节点组

支持创建Master-Extend节点组,自定义部署。适用客户 全网用户 新增功能/规格 集群节点提供Master-Extend类型节点组,支持在该节点组上自定义部署Spark/Hive/Kyuubi服务的组件,并能将配置自动同步。...产品文档 管理节点组

支持创建Gateway类型节点组

集群节点提供Gateway类型节点,用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点,用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组

OSS参考使用说明

此方式和使用HDFS的方式是一致的,区别在于,E-MapReduce会用到Multipart方式上传大文件,会上传文件碎片到OSS的碎片管理中,所以您不仅要删除OSS文件管理中的作业残留文件,还需将OSS碎片管理中的文件碎片清理一次,否则会产生数据存储...

REMOTESHELL

资源 选择任务执行时所需的资源文件,请确保您已在 资源中心 的 文件管理 页面,创建或者上传了相应的文件。选择所需文件后,您可以在任务脚本中通过完整路径引用它们。例如,path/to/test.txt。自定义参数 任务自定义参数,会替换脚本中${...

管理运行环境

如果没有可选的资源,请在 文件管理 页面上传。支持的文件类型:.zip、.tar、.whl、.tar.gz、.jar。OSS资源 在 OSS资源 中,填写在阿里云OSS中存储的文件路径。支持的文件类型:.zip、.tar、.whl、.tar.gz、.jar。单击 创建。创建后将开始...

2024-11-25版本

其他 文件管理支持创建文件夹。Spark配置输入框支持添加注释。spark_submit命令支持在提交后展示Spark Driver。引擎侧 版本号 说明 esr-3.0.0(Spark 3.4.3,Scala 2.12)Fusion加速 支持Parquet读取复杂数据类型。支持Parquet写表(esr-3.0.0...

IMPALASHELL

资源 选择任务执行时所需的资源文件,请确保您已在 资源中心 的 文件管理 页面,创建或者上传了相应的文件。选择所需文件后,您可以在任务脚本中通过完整路径引用它们。例如,path/to/test.txt。自定义参数 任务自定义参数,会替换脚本中${...

开源版和商业版介绍

选型指南 各个版本的能力和适用场景信息见下表:版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离、SOFA-RPC 等能力。适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力,还对接服务注册中心,支持消息、分布...

SHELL

资源 选择任务执行时所需的资源文件,请确保您已在 资源中心 的 文件管理 页面,创建或者上传了相应的文件。选择所需文件后,您可以在任务脚本中通过完整路径引用它们。例如,path/to/test.txt。自定义参数 任务自定义参数,会替换脚本中${...

HIVECLI

资源 选择任务执行时所需的资源文件,请确保您已在 资源中心 的 文件管理 页面,创建或者上传了相应的文件。选择所需文件后,您可以在任务脚本中通过完整路径引用它们。例如,path/to/test.txt。自定义参数 任务自定义参数,会替换脚本中${...

HDFS

基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息,记录写入的每个数据块(Block)与其归属文件的对应关系。此信息以命名空间镜像(FSImage)和编辑日志(EditsLog)两种形式持久化在本地...

功能特性

商业版特性相关文档 功能模块 文档 网格管理 启用Multi-Buffer实现TLS加速 ASM网关 为域名添加证书 为ASM网关启用压缩 增强ASM网关高可用性 流量管理 为入口网关配置本地限流 使用ASM路由级熔断功能 使用优雅下线功能避免流量损失 使用ASM...

开源自建对比

您可以通过不同场景,对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...

开源自建对比

您可以通过不同场景,对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...

OpenLDAP

OpenLDAP是LDAP协议(Lightweight Directory Access Protocol)的开源实现,在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中,Knox服务默认与OpenLDAP服务对接。...开源文档请参见 OpenLDAP。

组件操作

EMR提供的组件包括开源和自研两大类,涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域,您可以按需选择和配置。说明 在创建集群时,如果没有您想使用的组件,或者想使用的开源组件仅对存量用户开放,您可以自行安装...

Alibaba Cloud Linux 3软件兼容性列表

开发环境/框架 qt-creator 8.0.2 开源组件 开发环境/框架 vscode 1.68.0 开源组件 数据库 阿里云PolarDB数据库管理软件 v2.0 阿里云计算有限公司 数据库 达梦数据库管理系统 V7 武汉达梦数据库有限公司 数据库 南大通用安全数据库管理系统 ...

应用市场

Helm是Kubernetes服务编排领域的开源子项目,是Kubernetes应用的一个包管理工具,Helm通过软件打包的形式,支持发布的版本管理和控制,简化了Kubernetes应用部署和管理的复杂性。概述 应用市场的软件应用包括应用目录,应用目录中的软件是...

Spark对接Kafka

背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件,相关编程使用方法可参见官方相应文档。Spark官方文档:streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo:github地址。访问...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 检索分析服务 Elasticsearch版 大模型服务平台百炼 人工智能平台 PAI 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用