JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

参数说明

属性名 默认值 说明 spark.hadoop.fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID(可选)。spark.hadoop.fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret(可选)。spark.hadoop.fs.jfs.cache.oss-...

集群吞吐性能测试

TestDFSIO的jar包位于开源hadoop版本的$HADOOP_HOME/share/hadoop/mapreduce目录下,其中$HADOOP_HOME为测试机器中的Hadoop 安装目录,jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,TestDFSIO使用方法如下所示。...

Hadoop数据迁移MaxCompute最佳实践

如果您想实现MaxCompute数据迁移至Hadoop,步骤与上述步骤类似,不同的是同步脚本内的reader和writer对象需要对调,具体实现脚本如下。{"configuration":{"reader":{"plugin":"odps","parameter":{"partition":"pt=1","isCompress":false,...

Hadoop数据迁移MaxCompute最佳实践

如果您想实现MaxCompute数据迁移至Hadoop,步骤与上述步骤类似,不同的是同步脚本内的reader和writer对象需要对调,具体实现脚本如下。{"configuration":{"reader":{"plugin":"odps","parameter":{"partition":"pt=1","isCompress":false,...

【威胁情报】Hadoop Yarn REST API未授权访问攻击

阿里云云防火墙可防护Hadoop Yarn REST API未授权访问攻击。Hadoop是一款由Apache基金会推出的分布式系统框架,通过MapReduce算法进行分布式处理。Yarn是Hadoop集群的资源管理系统存在漏洞的主机,攻击者无需认证即可通过REST API部署任务...

通过Spark Streaming作业处理Kafka数据

本文介绍如何使用阿里云E-MapReduce创建的Hadoop和Kafka集群,运行Spark Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号,详情请参见阿里云账号注册流程。已开通E-MapReduce服务。已完成云账号的授权,详情请参见角色授权。本地...

Lindorm计算引擎JAR作业开发实践

Lindorm计算引擎JAR作业开发流程 Lindorm计算引擎JAR作业完全兼容社区版Spark,Spark作业开发请参考示例开发示例。参数配置。Lindorm计算引擎参数配置完全兼容社区版Spark参数配置,详情请参见计算引擎配置说明。Maven依赖。Lindorm计算...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

使用JindoFS SDK免密功能

JindoFS SDK支持使用Hadoop FileSystem访问OSS,示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;...

在ECI中访问HDFS的数据

export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/...

什么是E-MapReduce

简介 EMR构建于云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

Dataphin集成任务同步失败报错:"Operation category ...

422)&at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)&at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)&at org.apache.hadoop.ipc.Client.call(Client.java:1476)&at org....

【漏洞公告】CVE-2017-7669:Apache Hadoop远程权限...

Apache Hadoop是支持数据密集型分布式应用,并以Apache 2.0许可协议发布的软件框架。近期,国外安全研究人员发现,在Apache Hadoop 2.8.0版本、3.0.0-alpha1版本和3.0.0-alpha2版本中存在安全漏洞,该漏洞源于程序没有充分执行输入验证。...

CreateTable

运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateTable 系统规定参数。取值:CreateTable。DbName String 是 db001 数据库的名称。TableName String 是 tbl001 ...

使用JindoFS SDK访问OSS

share/hadoop/hdfs/lib/jindosdk-xxx.jar 步骤三:配置DLS实现类及AccessKey 将JindoSDK DLS实现类配置到Hadoop的core-site.xml中。lt;configuration>lt;property>lt;name>fs.AbstractFileSystem.oss.impl<name>lt;value>...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

使用RocksDB作为元数据后端

对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...

解决方案架构与核心产品

阿里云平台提供成熟的Elasticsearch及E-MapReduce服务,相较于使用开源Elasticsearch和分布式计算平台来自建搜索和计算环境,使用阿里云服务有以下优势:基于阿里云E-MapReduce和阿里云Elasticsearch,通过ES-Hadoop连通Hadoop生态系统和...

添加Hadoop类型的公共节点

Hadoop类型的离线数据节点,运行于Hadoop类型的云计算资源,支持对Hive、Hbase和Phoenix等类型的数据进行处理。本文介绍如何添加Hadoop类型的公共节点。前提条件已创建逻辑表,具体操作,请参见通过Excel导入逻辑表、通过云计算资源导入...

JindoFS加速OSS文件访问

JindoRuntime来源于阿里云EMR团队JindoFS,是基于C++实现的支撑Dataset数据管理和缓存的执行引擎,支持OSS对象存储。JindoFS是阿里云的产品,有专门的产品级支持。Fluid通过管理和调度JindoRuntime实现数据集的可见性、弹性伸缩和数据迁移...

创建项目集群设置

运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowProjectClusterSetting 系统规定参数。取值:CreateFlowProjectClusterSetting。ClusterId String 是 C-DCEE...

跨域互信

emr-header-1.cluster-6789:9000/spark-history drwxrwxrwt-hadoop hadoop 0 2021-08-27 10:11 hdfs:/emr-header-1.cluster-6789:9000/tmp drwxrwxrwt-hadoop hadoop 0 2021-08-27 10:11 hdfs:/emr-header-1.cluster-6789:9000/user

使用E-Mapreduce访问

hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...

GetTable

运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetTable 系统规定参数。取值:GetTable。DbName String 是 db001 数据库名称。TableName String 是 tbl001 表名称。...

兼容Hive Java UDF示例

Hive UDF代码示例 Hive UDF代码如下。package com.aliyun.odps.compiler.hive;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql....

通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

本文介绍如何通过ES-Hadoop实现Hadoop的Spark服务读写阿里云Elasticsearch数据。准备工作 创建阿里云Elasticsearch实例,并开启自动创建索引功能。具体操作步骤请参见创建阿里云Elasticsearch实例和配置YML参数。本文以6.7.0版本的实例为例...

支持压缩格式数据

本文为您介绍如何创建OSS外部表,实现访问存储在OSS上的压缩格式数据或以压缩格式将数据写入OSS。前提条件 请确认您已完成如下操作:OSS授权。更多授权操作信息,请参见STS模式授权。已准备好OSS存储空间(Bucket)、OSS目录及OSS数据文件...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折