文件存储 HDFS

\n\n文件存储HDFS适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户,进行海量数据存储和离线计算的业务场景,充分满足Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。

开通文件存储HDFS服务

本文介绍如何开通文件存储HDFS服务。背景信息 在使用阿里云文件存储HDFS服务之前,请确保您已经注册了阿里云账号并完成实名认证。如果您还没有创建阿里云账号,系统会在您开通文件存储HDFS时提示您注册账号。操作步骤 登录阿里云官网。将...

开始使用文件存储HDFS

相比自建HDFS存储,使用文件存储HDFS服务可以大量节约维护成本,降低数据安全风险。您可以进行以下相关操作: 创建文件存储HDFS文件系统实例和挂载点。为文件存储HDFS文件系统实例创建权限组,并创建权限组规则,从而允许特定IP或网段访问...

阿里云爆款特惠专场,精选爆款产品低至0.55折!

1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!
广告

迁移开源HDFS的数据到文件存储HDFS

文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。准备...

使用云企业网跨VPC访问文件存储HDFS

本文北京地域的ECS访问杭州地域的文件存储HDFS为例。说明 使用云企业网实现跨地域跨VPC访问文件存储HDFS时,计算实例(例如ECS)与文件存储HDFS挂载点所在VPC的交换机网段必须不相同。文件存储HDFS的权限组规则中的授权地址必须包含计算...

使用Fuse-DFS挂载文件存储HDFS

本文主要介绍如何使用fuse-dfs工具实现文件存储HDFS在本地文件系统的映射。背景信息Fuse-dfs是Hadoop项目自带的一个功能模块,提供了使用 FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不...

功能特性

共享访问一个文件存储HDFS实例可以被多个计算节点同时访问,非常适合跨多个ECS或容器服务实例部署的应用程序访问相同数据来源的应用场景。安全控制文件存储HDFS具有文件系统标准权限控制、权限组访问控制和RAM主子账号授权等多种安全机制,...

CDH6数据迁移

发行版本中的一种,您可以使用文件存储HDFS替换CDH6原有的本地HDFS服务,通过CDH6+文件存储HDFS实现大数据计算在云上的存储与计算分离,应对灵活多变的业务需求的挑战。操作步骤 登录CDH6的Cloudera Manager管理系统。配置链接。在系统主页...

文件存储HDFS和MaxCompute双向数据迁移

可以将MaxCompute数据同步至文件存储HDFS,也可以将文件存储HDFS数据同步至MaxCompute。注意 请确保Maxcompute、文件存储HDFS、Dataworks在同一个地域(region)下。准备工作 开通文件存储HDFS服务并创建文件系统实例和挂载点,详情请...

什么是文件存储HDFS

文件存储HDFS适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户,进行海量数据存储和离线计算的业务场景,充分满足Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。创建文件存储HDFS实例...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储HDFS。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式...

在文件存储HDFS上使用TensorFlow

本文介绍如何在文件存储HDFS上使用TensorFlow。背景信息TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。说明 由于TensorFlow对文件系统的schema有特别的指定,因此在文件存储HDFS上使用TensorFlow时需要...

卸载并释放CDH6 HDFS服务使用的云盘

背景信息当CDH已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH HDFS服务的云盘,降低集群的拥有成本。注意 从数据安全性考虑,数据迁移后建议进行数据完整性校验并让...

应用场景

而文件存储HDFS能够提供高吞吐量和低延迟的访问能力,无需将数据迁移到计算资源本地,因此在该场景下推荐使用文件存储HDFS存储数据。将数据存入文件存储HDFS,ECS实例或其他计算资源即可直接访问这些数据。将 Hadoop 或其他机器学习应用...

SDK示例

背景信息文件存储HDFS提供对Apache Hadoop FileSystem API的兼容,您可以参考Hadoop FileSystem API进行开发。说明 目前,部分Hadoop FileSystem API的兼容还未在文件存储HDFS SDK中提供,详情请参见使用限制。准备工作 已完成文件存储HDFS...

卸载并释放E-MapReduce HDFS使用的云盘

背景信息当E-MapReduce已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建E-MapReduceHDFS服务的云盘,降低集群的拥有成本。注意 从数据安全性考虑,数据迁移后建议进行...

概览

文件存储HDFS的SDK包含文件系统SDK和管控系统SDK。...Hadoop的计算分析应用(如MapReduce、Hive、Spark、Flink等)可以无需修改代码和编译,直接使用文件存储HDFS作为 defaultFS,从而获得超越原始HDFS的功能和性能优势。

文件存储HDFS操作审计日志说明

阿里云文件存储HDFS已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSSBucket中,满足实时审计、问题回溯分析等需要。本文介绍ActionTrail中记录的...

创建文件系统

文件系统实例是实际运行的文件存储HDFS实体。在使用文件存储HDFS前,需要先创建文件系统实例。操作步骤 登录文件存储HDFS控制台。在导航栏选择要创建文件系统实例的区域,如华东1(杭州)。在概览页面,单击创建文件系统。说明 文件系统...

创建文件系统实例后,为什么无法访问文件存储HDFS

如果创建文件系统实例后无法访问文件存储HDFS,请根据以下几种情况进行排查: 确认访问文件存储HDFS服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载点使用的权限组中已配置权限规则,详情...

使用RAM授权访问

可以使用RAM为子用户授权,使其获得文件存储HDFS的管控操作权限。为了遵循最佳安全实践,强烈建议您使用子用户来操作文件存储HDFS。文件存储HDFS默认授权策略 文件存储HDFS默认授权策略如下:策略 说明 AliyunHDFSReadOnlyAccess 只读...

文件存储HDFS和对象存储OSS双向数据迁移

可以将文件存储HDFS数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS。背景信息阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop的分布式文件系统中一样...

添加挂载点

挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址,每个挂载点都对应一个域名,ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。前提条件 对文件系统添加挂载点前,您需要确保...

创建权限组规则

文件存储HDFS的权限组中包括各种权限组规则,对文件系统实例的权限进行具体的管理。使用文件存储HDFS前,需要为已创建的权限组创建权限组规则并配置相关参数。背景信息 在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,...

在文件存储HDFS上使用Presto

本文档主要介绍如何在文件存储HDFS上搭建及使用Presto。背景信息Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。说明 在...

查看权限组

可以在文件存储HDFS控制台查看已经创建的权限组信息。前提条件 在查看权限组列表之前,您需要完成创建文件系统及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤 登录文件存储HDFS控制台。在权限组页面中,你...

在文件存储HDFS上使用Apache Flink

可以单击下载文件存储HDFS的SDK(此处aliyun-sdk-dfs-1.0.3.jar为例),将其部署在Apache Hadoop生态系统组件的CLASSPATH上,详情请参见挂载文件系统。cp aliyun-sdk-dfs-1.0.3.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 执行如下...

集群吞吐性能测试

文件存储HDFS的吞吐能力和购买的存储空间相关。测试集群吞吐性能所使用的TestDFSIO是一个分布式任务,存在任务调度及结果汇总阶段,计算集群吞吐均值时会略低于文件存储HDFS吞吐限速。在进行顺序读与随机读的测试之前需要确保文件存储HDFS...

创建权限组

背景信息在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来允许指定的IP或网段访问文件系统,并可以给不同的IP或网段授予不同级别的访问权限。警告 为了最大限度保障您的数据安全,强烈建议您谨慎添加权限组规则,仅为...

监控文件系统状态和性能

可以通过阿里云云监控服务查看文件存储HDFS的监控项数据图表,了解服务运行情况。并通过设置报警规则,及时获取异常信息。本文介绍如何在云监控控制台添加监控项图表及报警规则。前提条件 已创建文件系统。具体操作,请参见创建文件系统...

查看文件系统

可以在文件存储HDFS控制台查看某个已创建文件系统的详细信息。前提条件 在查看文件系统详情之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表...

查看挂载点

可以在文件存储HDFS控制台查看已经创建的挂载点详情。前提条件 在查看挂载点列表之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击...

删除文件系统

可以在文件存储HDFS控制台删除某个已创建的文件系统。前提条件 在删除某个文件系统之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上的某个...

公测期间使用文件系统有哪些限制?

文件存储HDFS在公测期间会对单个文件系统的使用进行一定的限制,包括:单个用户可以创建的文件系统数量:1 单个文件系统最大容量:10TB 单个文件系统目录+文件数最大数量:10万 单个文件系统最多包含挂载点数量:2 单个用户可以创建的权限...

删除权限组

可以在文件存储HDFS控制台删除某个已创建的权限组。前提条件 在删除权限组之前,您需要完成创建文件系统与创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤 登录文件存储HDFS控制台。在权限组页面中找到要删除的...

管理权限组规则

可以在文件存储HDFS控制台对已创建权限组中的规则进行配置管理,包括编辑和删除。前提条件 在管理权限组规则之前,您需要完成创建文件系统、创建权限组及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组,且权限组中已...

使用限制

本文档介绍文件存储HDFS及命令行工具存在的限制。如要了解更多有关开源Hadoop的信息,请参考Hadoop 文档。Hadoop FileSystem/AbstractFileSystem 不支持目录修改时间(mtime)、访问时间(atime),不支持通过setTimes设置文件的mtime和...

删除挂载点

可以在文件存储HDFS控制台删除某个已创建的挂载点。前提条件 在删除挂载点之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤 登录文件存储HDFS控制台。在文件系统页面,单击文件系统...

基本概念

下表列出了在文档存储HDFS中使用的一些术语。术语 描述 文件系统实例 一个拥有全局命名空间,用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
产品推荐
对象存储 块存储 文件存储HDFS 云服务器 商标 物联网无线连接服务 SSL证书 短信服务
这些文档可能帮助您
什么是云存储网关CSG 挂载文件系统 图片处理操作方式 开通文件存储HDFS服务 快速使用ossbrowser 什么是文件存储HDFS

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折