Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见创建集群。操作步骤通过SSH方式连接集群，...
Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？
概述本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有...
Hadoop使用JindoSDK访问OSS-HDFS服务
什么是OSS-HDFS服务通过OSS-HDFS服务，无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件已创建好项目，详情请参见项目管理。操作步骤进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息回收站是Hadoop Shell或部分应用（Hive等）对...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息回收站是Hadoop Shell或部分应用（Hive等）对...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息回收站是Hadoop Shell或部分应用（Hive等）对...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口...
Dataphin中执行hadoop fs-ls命令方法
概述Dataphin中执行hadoop fs-ls命令的方法。详细信息创建HADOOP_MR任务，可以执行hadoop fs-ls/命令。适用于Dataphin
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据...
切换为Hadoop原生的JobCommitter
E-MapReduce（简称EMR）集群默认使用JindoCommitter加速大数据作业，解决OSS等对象存储在Spark、MapReduce等作业使用原生Hadoop JobCommitter时遇到的性能和一致性等问题。...
迁移Hadoop文件系统数据至JindoFS
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据Hadoop FsShell对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备您可以选择以下任意一种方式访问...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤在Dataphin首页，单击顶部菜单栏中的研发。默认进入开发页面。按照下图操作指引，进入新建HADOOP...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块对应阿里云产品说明开源Hadoop本地机房搭建Hadoop集群云上虚拟机搭建Hadoop集群阿里云E-MapReduce原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或...
CreateHadoopDataSource-创建hadoop外部数据源
创建hadoop数据源配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表...
通过HDP 2.6 Hadoop读取和写入OSS数据
HDP（Hortonworks Data Platform）是由Hortonworks发行的大数据平台，包含了Hadoop、Hive、HBase等开源组件。HDP 3.0.1版本中的Hadoop 3.1.1版本已支持OSS，但是低版本的HDP不...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备EMR环境中，默认已安装JindoSDK，可以直接使用。说明访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
2022年8月4日，Apache Hadoop官方披露修复了一个Shell命令注入漏洞CVE-2022-25168。由于Apache Hadoop的FileUtil.unTar API在传递Shell之前未对输入的文件名进行转义，攻击者...
管理事件中心（Hadoop集群）
E-MapReduce（简称EMR）的事件中心用于记录Hadoop类型集群发生的重要事件，并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件，并在云监控控制台上设置...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch...
ModifyHadoopDataSource-修改hadoop数据源配置
修改hadoop数据源配置调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是...
CheckHadoopDataSource-检查hadoop数据源配置
检查hadoop数据源配置。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表...
DeleteHadoopDataSource-删除hadoop外部数据源
删除hadoop外部数据源调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是...
通过CDH 5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH 6.0.1中的Hadoop 3.0.0版本已经支持OSS，但CDH 5中的Hadoop 2.6版本不支持...
DescribeHadoopDataSource-获取hadoop数据源详情
获取hadoop数据源配置信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下...
DescribeHadoopConfigs-获取Hadoop集群配置信息
获取Hadoop集群配置信息调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表...
设置Dataphin实例的计算引擎为Hadoop
本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。前提条件已完成系统元数据的初始化，请参见使用Hadoop作为元仓计算引擎进行元仓初始化。操作步骤使用超级管理员...
开启或关闭弹性伸缩（仅Hadoop集群类型）
前提条件已完成弹性伸缩的配置，详情请参见配置弹性伸缩（仅Hadoop集群类型）。注意事项当伸缩组内节点数为0时，您才可以关闭弹性伸缩。当伸缩组内节点不为0时，您需要...
CheckHadoopNetConnection-检测hadoop外部数据源网络联通性
检测hadoop外部数据源网络联通性调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权...
- 产品推荐
- 这些文档可能帮助您