Hadoop使用JindoSDK访问OSS-HDFS服务
什么是OSS-HDFS服务 通过OSS-HDFS服务，无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
基于Hadoop集群支持Delta Lake或Hudi存储机制
可选服务 Hadoop-Common、HDFS、Hive、YARN、Spark3、DeltaLake、Hudi、ZooKeeper 选择相关的Hadoop、HDFS、Hive、Spark、DeltaLake及Hudi组件，被选中的组件会默认启动相关的服务进程。元数据 内置MySQL 选择 内置MySQL 或者 自建RDS。自...
搭建Hadoop环境
Hadoop的核心部件是HDFS（Hadoop Distributed File System）和MapReduce：HDFS：是一个分布式文件系统，可用于应用程序数据的分布式存储和读取。MapReduce：是一个分布式计算框架，MapReduce的核心思想是把计算任务分配给集群内的服务器...
Hadoop
我们提供了工具来读取您Hadoop服务所在集群的配置，您可以按照下面的地址下载 spark-examples-0.0.1-SNAPSHOT-shaded.jar 并上传至OSS,然后提交Spark作业到用户的Hadoop服务所在集群上执行，即可在作业输出中获得访问Hadoop所需的配置。...
环境准备
解压并安装，根据实际集群情况安装Hadoop服务。按照如下示例启动Hadoop环境。bin/start-all.sh#检查服务是否成功启动。jps 24017 NameNode 24835 Jps 24131 DataNode 24438 ResourceManager 5114 HMaster 24287 SecondaryNameNode 24527 ...
产品优势
完善集群的监控和告警体系，覆盖硬件和Hadoop服务，您可以配置告警模板。弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
数据湖生态接入
生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用...
什么是OSS-HDFS服务
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
DataWorks on EMR快速入门
可选服务 HADOOP-COMMON、OSS-HDFS、YARN、Hive、Spark3、Tez、Knox和OpenLDAP。根据您的实际需求选择组件，被选中的组件会默认启动相关的服务进程。说明 除过集群默认的服务，还需选择Knox和OpenLDAP服务。允许采集服务运行日志 开启 支持...
通过DataWorks将Hadoop数据同步到阿里云ES
本文使用阿里云E-MapReduce服务自动化搭建Hadoop集群。详细信息，请参见 创建集群。E-MapReduce Hadoop集群部分配置信息如下：集群类型：Hadoop 产品版本：EMR-3.26.3 挂载公网：开启 已创建阿里云ES实例，并开启实例的自动创建索引功能。...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群所使用的VPC和MaxCompute服务开通地域保持一致，这样可以免去跨地域网络产生的费用。当您通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群环境需开启高可用（HA）。具体详情，请咨询...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
本文介绍如何通过ES-Hadoop实现Hadoop的Spark服务读写阿里云Elasticsearch数据。准备工作 创建阿里云Elasticsearch实例，并开启自动创建索引功能。具体操作步骤请参见 创建阿里云Elasticsearch实例 和 配置YML参数。本文以6.7.0版本的实例...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
EMR-4.3.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.1.3 YARN 3.1.3 Hive 3.1.1 Spark 2.4.5 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 2.6.7 Bigboot 2.6.7 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.1.9 Zookeeper 3.5.6 Presto 331 ...
EMR-5.6.x版本说明
Presto 修复了Hadoop集群初始化完成后，添加Presto服务后，Presto服务无法启动的缺陷。DeltaLake DML支持SubQuery。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。HBase 修复了HBase2...
EMR-4.4.x版本说明
发布日期 EMR-4.4.1 2020年9月15日 更新内容 服务 变更点 YARN 删除软件栈 yarn.application.classpath 配置中的 hadoop/tools/lib 目录。优化MR作业默认的参数配置。Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson...
EMR-4.9.x版本说明
发行版本信 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.5.0 Bigboot 3.5.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.9.0 HBase 2.3.4 Zookeeper 3.6.2 ...
EMR-3.40.x版本说明
Presto 修复了Hadoop集群初始化完成后，添加Presto服务后，Presto服务无法启动的缺陷。DeltaLake 修复了与Streaming SQL的兼容性问题。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。...
EMR-4.6.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.2.0 Bigboot 3.2.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.1.9 Zookeeper 3.5.6 ...
EMR-3.36.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.8 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 ...
EMR-4.5.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.1.3 YARN 3.1.3 Hive 3.1.2 Spark 2.4.5 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.1.0 Bigboot 3.1.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.1.9 Zookeeper 3.5.6 ...
EMR-4.8.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.4.0 Bigboot 3.4.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.3.4 Zookeeper 3.5.6 ...
EMR-5.13.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
EMR-3.47.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
EMR-5.3.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.1.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-5.3.0版本：3.7.0 EMR-5.3.1版本：3.7.1 Bigboot Iceberg 0.12.0 Hudi 0.8.0 DeltaLake ...
EMR-5.15.x版本说明
服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 YARN 3.2.1 OpenLDAP 2.4.46 Zookeeper 3.6.3 Knox 1.5.0 Flink 1.15_vvr_6.0.4 Kafka 2.13_3.2.1 Kafka-Manager 3.0.0.6 Paimon 0.6-ali-2 DataServing集群 服务 版本 Hadoop-...
EMR-5.2.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.1.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.6.1 Bigboot 3.6.1 Hudi 0.8.0 OpenLDAP 2.4.44 Hue 4.9.0 HBase 2.3.4 Zookeeper 3.6.2 ...
EMR-3.49.x版本说明
服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 Knox 1.5.0 HBase 1.7.1 JindoCache 6.1.1 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS ...
EMR-5.16.x版本说明
服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 YARN 3.2.1 OpenLDAP 2.4.46 Zookeeper 3.6.3 Knox 1.5.0 Flink 1.15_vvr_6.0.4 Kafka 2.13_3.6.1 Kafka-Manager 3.0.0.6 Paimon 0.7-ali-1 DataServing集群 服务 版本 Hadoop-...
EMR-5.12.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 YARN 3.2.1 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
EMR-3.46.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
EMR-3.50.x版本说明
服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 OpenLDAP 2.4.46 Ranger 2.3.0 Zookeeper 3.6.3 Knox 1.5.0 Flink 1.15_vvr_6.0.4 Kafka 2.12_2.4.1 Kafka-Manager 3.0.0.6 Paimon 0.7-ali-1 DataServing集群 服务 ...
EMR-3.37.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.8 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 ...
EMR-3.48.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
EMR-5.14.x版本说明
服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 JindoData 4.6.11 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 Knox 1.5.0 HBase 2.4.9 Phoenix 5.1.2 自定义集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3...
EMR-5.5.x版本说明
Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.2.0 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 DLF-Auth 1.0.4 Iceberg 0.13.0 Hudi 0.10.0 DeltaLake 1.1.0 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK 4.0.0 HBase 2.3....
- 产品推荐
- 这些文档可能帮助您