开通文件存储HDFS服务

本文介绍如何开通文件存储HDFS服务。背景信息 在使用阿里云文件存储HDFS服务之前,请确保您已经注册了阿里云账号并完成实名认证。如果您还没有创建阿里云账号,系统会在您开通文件存储HDFS时提示您注册账号。操作步骤 登录阿里云官网。将...

文件存储 HDFS

阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析...

开始使用文件存储HDFS

本章节介绍如何快速创建文件系统、创建权限组、创建权限组规则、添加挂载点及挂载文件系统等操作,旨在引导您快速使用文件存储HDFS的基础功能。文件存储HDFS允许您就像在Hadoop分布式文件系统 (HDFS)中管理和访问数据。您无需对现有大...

阿里云爆款特惠专场,精选爆款产品低至0.55折!

1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!
广告

使用云企业网跨VPC访问文件存储HDFS

本文档主要介绍如何使用云企业网(CEN)跨VPC访问文件存储HDFS。背景信息 阿里云提供云企业网服务实现跨VPC访问文件存储HDFS,主要场景如下所示。场景 描述 同账号同地域跨VPC访问文件存储HDFS 访问文件存储HDFS的计算实例(例如ECS)与...

功能特性

文件存储HDFS具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成 文件存储HDFS允许您就像在Hadoop分布式文件系统 (HDFS)中管理和访问数据。文件存储HDFS SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云...

迁移开源HDFS的数据到文件存储HDFS

创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。验证文件系统和计算节点之间的连通性。执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。hadoop fs-mkdir...

使用Fuse-DFS挂载文件存储HDFS

本文主要介绍如何使用fuse-dfs工具实现文件存储HDFS在本地文件系统的映射。背景信息 Fuse-dfs是Hadoop项目自带的一个功能模块,提供了使用 FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不...

什么是文件存储HDFS

阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析...

应用场景

文件存储HDFS适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。...或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS做永久保存

文件存储HDFS上使用TensorFlow

本文介绍如何在文件存储HDFS上使用TensorFlow。背景信息 TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。说明 由于TensorFlow对文件系统的schema有特别的指定,因此在文件存储HDFS上使用TensorFlow时需要...

文件存储HDFS和MaxCompute双向数据迁移

本文档介绍如何使用DataWorks实现MaxCompute与文件存储HDFS之间的双向数据同步。您可以将MaxCompute数据同步至文件存储HDFS,也可以将文件存储HDFS数据同步至MaxCompute。注意 请确保Maxcompute、文件存储HDFS、Dataworks在同一个地域...

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用文件存储HDFS,详情请参见配置CDH6使用文件存储HDFS。背景信息 当CDH已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH HDFS服务的云盘,降低集群的拥有...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储HDFS。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线...

CDH6数据迁移

本文档介绍如何将CDH中本地HDFS的数据迁移到文件存储HDFS。前提条件 在阿里云上创建ECS集群并安装CDH,具体安装方法请参考CDH相关文档。背景信息 CDH(Cloudera's Distribution,including Apache Hadoop)是众多 Hadoop 发行版本中的一种,...

概览

文件存储HDFS的SDK包含文件系统SDK和管控系统SDK。目前公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件存储HDFS SDK实现了Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个单独的JAR文件,即aliyun-sdk-...

卸载并释放E-MapReduce HDFS使用的云盘

已配置E-MapReduce使用文件存储HDFS,详情请参见配置E-MapReduce服务使用文件存储HDFS。在卸载磁盘前,请停止E-MapReduce集群中的所有服务,等到卸载磁盘操作完成后再启动。背景信息 当E-MapReduce已经成功运行在阿里云文件存储HDFS上时,...

创建文件系统

文件系统实例是实际运行的文件存储HDFS实体。在使用文件存储HDFS前,需要先创建文件系统实例。操作步骤 登录文件存储HDFS控制台。在导航栏选择要创建文件系统实例的区域,如华东1(杭州)。在概览页面,单击创建文件系统。说明 文件系统...

创建权限组规则

文件存储HDFS的权限组中包括各种权限组规则,对文件系统实例的权限进行具体的管理。使用文件存储HDFS前,需要为已创建的权限组创建权限组规则并配置相关参数。背景信息 在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,...

创建文件系统实例后,为什么无法访问文件存储HDFS

如果创建文件系统实例后无法访问文件存储HDFS,请根据以下几种情况进行排查: 确认访问文件存储HDFS服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载点使用的权限组中已配置权限规则,详情...

文件存储HDFS操作审计日志说明

阿里云文件存储HDFS已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯分析等需要。本文介绍ActionTrail中记录的...

使用RAM授权访问

文件存储HDFS默认授权策略 文件存储HDFS默认授权策略如下:策略 说明 AliyunHDFSReadOnlyAccess 只读访问文件存储HDFS的权限 AliyunHDFSFullAccess 管理文件存储HDFS的权限 RAM中可授权的文件存储HDFS管控操作 在RAM中可以为子用户授予以下...

查看权限组

您可以在文件存储HDFS控制台查看已经创建的权限组信息。前提条件 在查看权限组列表之前,您需要完成创建文件系统及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤 登录文件存储HDFS控制台。在权限组页面中,你...

删除文件系统

您可以在文件存储HDFS控制台删除某个已创建的文件系统。前提条件 在删除某个文件系统之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上的某个...

查看文件系统

您可以在文件存储HDFS控制台查看某个已创建文件系统的详细信息。前提条件 在查看文件系统详情之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表...

添加挂载点

挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址,每个挂载点都对应一个域名,ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。前提条件 对文件系统添加挂载点前,您需要确保...

查看挂载点

您可以在文件存储HDFS控制台查看已经创建的挂载点详情。前提条件 在查看挂载点列表之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击...

集群吞吐性能测试

将500个大小为4G的文件按顺序写入到文件存储HDFS读写数据的缓存大小为8M,并将统计数据写入 tmp/TestDFSIOwrite.log中。hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-write-nrFiles ...

删除权限组

您可以在文件存储HDFS控制台删除某个已创建的权限组。前提条件 在删除权限组之前,您需要完成创建文件系统与创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤 登录文件存储HDFS控制台。在权限组页面中找到要删除的...

SDK示例

fs-ls/tmp/test_hdfs.txt命令可以在文件存储HDFS上看到该文件。下载文件 示例 import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.File;import java....

删除挂载点

您可以在文件存储HDFS控制台删除某个已创建的挂载点。前提条件 在删除挂载点之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统...

文件存储HDFS和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS和对象存储OSS之间的数据迁移操作过程。您可以将文件存储HDFS数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS。背景信息 阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件...

创建权限组

通过权限组对文件系统的权限进行管理,在使用文件存储HDFS之前,需要创建权限组并配置相关参数。背景信息 在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来允许指定的IP或网段访问文件系统,并可以给不同的IP或网段...

管理权限组规则

您可以在文件存储HDFS控制台对已创建权限组中的规则进行配置管理,包括编辑和删除。前提条件 在管理权限组规则之前,您需要完成创建文件系统、创建权限组及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组,且权限组中已...

使用限制

本文档介绍文件存储HDFS及命令行工具存在的限制。如要了解更多有关开源Hadoop的信息,请参考Hadoop 文档。Hadoop FileSystem/AbstractFileSystem 不支持目录修改时间(mtime)、访问时间(atime),不支持通过setTimes设置文件的mtime和...

修改权限组

您可以在文件存储HDFS控制台修改某个已创建权限组的信息,包括名称和描述。前提条件 在修改权限组信息之前,您需要完成创建文件系统及创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。背景信息 任何挂载点都必须绑定一个权限...

文件存储HDFS

将Hadoop或其他机器学习应用部署在多个计算资源上,应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS做永久保存。性能 衡量文件存储HDFS的性能指标主要是吞吐能力。吞吐最大不会超过ECS...

监控文件系统状态和性能

您可以通过阿里云云监控服务查看文件存储HDFS的监控项数据图表,了解服务运行情况。并通过设置报警规则,及时获取异常信息。本文介绍如何在云监控控制台添加监控项图表及报警规则。前提条件 已创建文件系统。具体操作,请参见创建文件系统...

文件存储HDFS上使用Presto

本文档主要介绍如何在文件存储HDFS上搭建及使用Presto。背景信息 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。说明 在...

基本概念

中的配置来访问文件存储HDFS中的文件。权限组 权限组是若干访问文件系统的权限规则的集合。包括授权IP地址、读写权限、用户权限等。说明 每个挂载点都必须与一个权限组绑定。权限规则 指通过设置授权地址、访问类型以及优先级来约束用户...

禁用和激活挂载点

您可以在文件存储HDFS控制台禁用和激活已经创建的挂载点。前提条件 在禁用和激活挂载点之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤 登录文件存储HDFS控制台。在文件系统页面,...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
产品推荐
块存储 文件存储 文件存储HDFS 云服务器 物联网无线连接服务 商标 SSL证书 负载均衡SLB
这些文档可能帮助您
存储类型介绍 开始使用文件存储HDFS 服务端签名后直传 什么是文件存储NAS 创建文件系统 通用型NAS

新品推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折

你可能感兴趣

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折