如何管理应用级别的资源和任务优先级
在 创建任务 面板的 基本配置 配置向导页，设置 优先级。创建任务的其它参数及后续步骤，请参见 创建调度任务。配置项 描述 任务名 任务名称。描述 任务描述，尽量简洁地描述业务，便于后续搜索。应用ID 任务所属分组。可以在下拉列表中...
云市场镜像部署Java Web环境（CentOS 7.3）
云市场镜像包含已集成Java运行环境、Web服务器和数据库的镜像。使用此类镜像部署Java Web服务器可即装即用，省去安装配置服务器的过程。本教程介绍如何在ECS实例上使用云市场镜像部署Java Web环境。前提条件 已注册阿里云账号。如还未注册...
Spring Cloud概述
您可直接将应用部署到EDAS上，无须修改代码、添加配置，即可获取EDAS企业级的应用托管、微服务治理（服务查询、金丝雀发布、离群实例摘除、无损下线）、监控报警和应用诊断等能力，帮助您全面提升应用的稳定性和安全性。简介 Spring Cloud...
应用独享负载均衡实例
如果没有为选定的SLB实例配置过虚拟服务器组，或想为当前应用配置一个新的虚拟服务器组，请选择 新建虚拟服务器组，并输入 虚拟服务器组名称。在 确定变更 页签中查看设置的SLB实例信息，无误后，单击 确认变更。结果验证 返回 基本信息 页...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
账号体系
具体操作，请参见 将EDAS内置的权限管理切换为RAM权限管理。...角色 角色即拥有一系列指定权限的虚拟用户，没有确定的身份认证密钥，需要被一个守信的实体用户扮演才能正常使用。...权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确...
转发路由器工作原理
推荐您将这些地域的基础版转发路由器升级为企业版转发路由器，体验更丰富的功能特性以及更大规模的企业级组网能力。具体操作，请参见 升级基础版转发路由器。连接网络实例 基础版转发路由器支持连接以下网络实例：一个或多个VPC实例 一个或...
Dubbo概述
EDAS支持Apache Dubbo微服务框架，您在Apache Dubbo框架下开发的微服务只需添加依赖和修改配置，对代码无侵入，即可部署到EDAS之后，获取EDAS企业级的微服务应用托管、微服务治理、监控报警和应用诊断等能力。Dubbo架构 开源Dubbo目前包含...
什么是阿里云应用服务器
阿里云应用服务器（AliEE）是一款企业级JavaEE的应用服务器软件，用于构建和部署企业级应用程序。它提供了一个可扩展、可靠、安全的平台，支持多种应用程序开发语言和协议，包括Java、J2EE、Web Services、SOAP、HTTP、HTTPS等。阿里云应用...
安装及开发环境配置
本文介绍如何安装Ali-Tomcat和Pandora，以及如何配置Eclipse和IntelliJ IDEA的开发环境。安装Ali-Tomcat和Pandora Ali-Tomcat和Pandora为 EDAS 中的服务运行时所依赖的容器，集成了服务的发布、订阅、调用链追踪等一系列核心功能，应用程序...
使用Cloud Toolkit启动本地注册及配置中心
前提条件 已安装和配置Cloud Toolkit，详情请参见 在IntelliJ IDEA中安装和配置Cloud Toolkit。使用限制 该功能支持HSF、Spring Cloud和Dubbo等微服务框架，如果使用轻量级注册中心（HSF），需要占用8080、8848和9600端口，如果使用开源...
常见问题
如何进行任务管理高级配置？机器繁忙（all workers are busy）该怎么办？任务常见问题 如何接入链路追踪？任务常见问题 应用发布过程，任务执行卡住或变慢 单击运行一次后，系统提示输入实例参数，如何处理？权限问题 如何给其他账号授权 ...
常见问题
本文介绍服务器迁移中心SMC相关的常见问题及解决方案。计费问题 SMC是如何收费的？通用问题 SMC服务域名有哪些？迁移源问题 如何选择导入迁移源方式？如何查找迁移源？我想要重新导入迁移源，怎么办？为什么无法删除迁移源？为啥ECS实例...
Flume使用JindoSDK写入OSS-HDFS服务
常见问题 报错“org.apache.flume.conf.ConfigurationException:Component has no type.Cannot configure.user_sink”在Hadoop的core-site.xml配置文件中添加以下配置解决该问题。配置JindoOSS实现类。fs.AbstractFileSystem.oss.impl ...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
API概览
Hadoop数据源 Hadoop数据源 DescribeHadoopConfigs 获取Hadoop集群配置信息 获取Hadoop集群配置信息。CreateHadoopDataSource 创建hadoop外部数据源 创建hadoop数据源配置。DescribeHadoopDataSource 获取hadoop数据源详情 获取hadoop数据...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
迁移HDFS数据到OSS-HDFS
OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以利用Hadoop生态系统的各种工具和框架进行数据处理和分析。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
使用须知
为保证您在轻量应用服务器中正常的部署及使用应用，请您阅读以下注意事项。轻量应用服务器使用须知 轻量应用服务器的实例适用于小型Web应用、轻量应用等低负载、突发型应用场景。如果您需要选择其他的实例类型或者需要具有较高CPU性能负载...
功能特性
轻量应用服务器 轻量应用服务器（Simple Application Server）是可以快速搭建且易于管理的轻量级云服务器，面向单台服务器提供了一键部署应用、一站式域名解析、安全管理以及运维监控等服务。轻量应用服务器操作简单便捷，能让您快速上手...
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
访问HBase HDFS
创建一个Hadoop客户端配置目录conf（如果使用客户端已存在这个目录则不需要另行创建）。添加以下两个HDFS配置到Hadoop客户端conf目录中。core-site.xml configuration property name fs.defaultFS/name value hdfs:/hbase-cluster/value/...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
测试环境
DLA Spark+OSS配置如下：配置名称 规格要求 数量 Driver medium（2核8 GB）1个 Executor medium（2核8 GB）39个 自建Hadoop+Spark集群配置如下：配置名称 规格要求 数量 Master 4核8 GB 2个 Slave 8核32 GB，4个500 GB的高效云盘 5个 说明 ...
混合运维场景最佳实践
针对企业的服务器资产广泛分布在阿里云、线下IDC机房或其他云，以及跨VPC、跨账号场景，需要通过堡垒机统一管理、集中运维的场景，除了专线运维、公网IP运维这两种方案以外，堡垒机还支持更为方便的网络域代理模式运维方案。本文介绍如何...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
访问ECS实例异常时的问题排查和指引
所有服务器访问目标服务器均存在异常 如果所有服务器访问目标服务器均存在异常，则推断是目标服务器归属安全组或服务器内部自身存在异常所致，需要做进一步排查分析查看服务器内部访问是否正常，即通过 使用管理终端连接Linux实例 登录...
Lindorm文件引擎
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.dfs.nameservices":"nn1,nn2","spark.hadoop.dfs.namenode.rpc-address.dfs.nameservices.nn1":"dfs.namenode.rpc-address....
在文件存储 HDFS 版上使用Apache Tez
mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./hadoop-...
设置Dataphin实例的计算引擎为Hadoop
Hadoop类型的计算引擎包括：E-MapReduce3.x Hadoop、E-MapReduce5.x Hadoop、CDH5.x Hadoop、CDH6.x Hadoop、Cloudera Data Platform 7.x、华为 FusionInsight 8.x Hadoop、亚信DP5.3 Hadoop。说明 当计算引擎选择为 E-MapReduce3.x Hadoop...
使用限制
轻量应用服务器在产品功能和服务性能上可能存在一些限制，建议您在实际使用之前了解相应的限制，以确保能够满足您的业务需求。本文介绍轻量应用服务器相关资源的使用限制。服务器限制 同一个阿里云账号下，轻量应用服务器 与轻量应用负载...
无法更换轻量应用服务器的操作系统
问题描述 重置系统可以重新安装服务器的应用或者操作系统，达到重新初始化服务器的目的。若您在阿里云轻量应用服务器控制台中，无法更换轻量应用服务器的操作系统，可参考本文进行操作。解决方案 阿里云提醒您：如果您对实例或数据有修改、...
使用自定义镜像创建服务器
在购买页面，完成服务器配置项。系统已根据自定义镜像，默认设置了 地域 以及 镜像 配置项。您只需要根据业务需求，完成其他配置项。具体说明如下表所示。配置项 说明 套餐配置 系统将根据您自定义镜像中的系统盘数据大小设置默认的套餐...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
重置系统
重置系统可以重新安装轻量应用服务器的应用或者操作系统，达到重新初始化服务器的目的。重置系统有两种选择，重置当前系统和重置为其他镜像。前提条件 轻量应用服务器的状态为 运行中 或 已停机。背景信息 警告 重置或更换系统会清除轻量...
配置OSS/OSS-HDFS Credential Provider
基本配置方式 您可以将OSS或OSS-HDFS的AccessKey ID、AccessKey Secret、Endpoint预先配置在Hadoop的core-site.xml中。EMR集群配置具体步骤为：在Hadoop-Common服务配置页面，单击 core-site.xml 页签。单击 新增配置项，新增配置项 fs.oss...
配置OSS/OSS-HDFS Credential Provider
基本配置方式 您可以将OSS或OSS-HDFS的AccessKey ID、AccessKey Secret、Endpoint预先配置在Hadoop的core-site.xml中。EMR集群配置具体步骤为：在Hadoop-Common服务配置页面，单击 core-site.xml 页签。单击 新增配置项，新增配置项 fs.oss...
- 产品推荐
- 这些文档可能帮助您