开通文件存储HDFS服务

背景信息在使用阿里云文件存储HDFS服务之前,请确保您已经注册了阿里云账号并完成实名认证。如果您还没有创建阿里云账号,系统会在您开通文件存储HDFS时提示您注册账号。操作步骤登录阿里云官网。将鼠标移至产品,单击文件存储HDFS,打开...

文件存储 HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据。您无需对现有大数据分析应用做...

什么是文件存储HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据。您无需对现有大数据分析应用做...

阿里云爆款特惠专场,精选爆款产品低至0.55折!

1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!
广告

卸载并释放CDH6 HDFS服务使用的

背景信息当CDH已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDHHDFS服务的云盘,降低集群的拥有成本。注意从数据安全性考虑,数据迁移后建议进行数据完整性校验并让...

迁移开源HDFS的数据到文件存储HDFS

创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。验证文件系统和计算节点之间的连通性。执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。hadoopfs-mkdir/...

卸载并释放E-MapReduce HDFS使用的

背景信息当E-MapReduce已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建E-MapReduceHDFS服务的云盘,降低集群的拥有成本。注意从数据安全性考虑,数据迁移后建议进行数据...

功能特性

文件存储HDFS具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成文件存储HDFS允许您就像在Hadoop分布式文件系统(HDFS)中管理和访问数据。文件存储HDFSSDK可在所有ApacheHadoop2.x环境中使用,包括阿里云EMR和阿里云Flink。...

使用Fuse-DFS挂载文件存储HDFS

说明Fuse-dfs工具在阿里云文件存储HDFS上使用与原生HDFS上使用时有些差异,详细操作步骤请参见配置Fuse-DFS。准备工作开通文件存储HDFS服务并创建文件系统实例和挂载点,详情请参见HDFS快速入门。在Hadoop集群所有节点上安装JDK。版本不能...

使用企业网跨VPC访问文件存储HDFS

背景信息阿里云提供云企业网服务实现跨VPC访问文件存储HDFS,主要场景如下所示。场景描述同账号同地域跨VPC访问文件存储HDFS访问文件存储HDFS的计算实例(例如ECS)与文件存储HDFS属于相同的账号且在同一地域。说明此场景也可以使用文件...

开始使用文件存储HDFS

本章节介绍如何快速创建文件系统、创建权限组、创建权限组规则、添加挂载点及挂载文件系统等操作,旨在引导您快速使用文件存储HDFS的基础功能。文件存储HDFS允许您就像在Hadoop分布式文件系统(HDFS)中管理和访问数据。您无需对现有大数据...

E-MapReduce数据迁移

说明当使用阿里云文件存储HDFS替换E-MapReduceHDFS服务时,您可以选择使用高效云盘、SSD云盘或者本地盘作为Shuffle数据的临时本地存储。具体存储规划可以参考:存储说明。开通文件存储HDFS服务,并创建文件系统实例、添加挂载点,创建权限...

应用场景

文件存储HDFS适用于对吞吐要求较高的大数据分析与机器学习的业务需求...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS做永久保存

文件存储HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据那样使用文件存储HDFS。您无需对现有大数据分析...

文件存储HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据那样使用文件存储HDFS。您无需对现有大数据分析...

文件存储HDFS上使用TensorFlow

本文介绍如何在文件存储HDFS上使用TensorFlow。背景信息TensorFlow是一个采用数据流图(dataflowgraphs),用于数值计算的开源软件库。说明由于TensorFlow对文件系统的schema有特别的指定,因此在文件存储HDFS上使用TensorFlow时需要修改...

文件存储HDFS操作审计日志说明

阿里云文件存储HDFS已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSSBucket中,满足实时审计、问题回溯分析等需要。本文介绍ActionTrail中记录的...

文件存储HDFS和MaxCompute双向数据迁移

本文档介绍如何使用DataWorks实现MaxCompute与文件存储HDFS之间的双向数据同步。您可以将MaxCompute数据同步至文件存储HDFS,也可以将文件存储HDFS数据同步至MaxCompute。注意请确保Maxcompute、文件存储HDFS、Dataworks在同一个地域...

CDH6数据迁移

本文档介绍如何将CDH中本地HDFS的数据迁移到文件存储HDFS。前提条件在阿里云上创建ECS集群并安装CDH,具体安装方法请参考CDH相关文档。背景信息CDH(Cloudera'sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种,您可以...

文件存储HDFS和对象存储OSS双向数据迁移

背景信息阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop的分布式文件系统中一样管理和访问数据,让您拥有高性能的热数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的...

创建文件系统

文件系统实例是实际运行的文件存储HDFS实体。在使用文件存储HDFS前,需要先创建文件系统实例。操作步骤登录文件存储HDFS控制台。在导航栏选择要创建文件系统实例的区域,如华东1(杭州)。在概览页面,单击创建文件系统。说明文件系统容量...

使用RAM授权访问

文件存储HDFS默认授权策略文件存储HDFS默认授权策略如下:策略说明AliyunHDFSReadOnlyAccess只读访问文件存储HDFS的权限AliyunHDFSFullAccess管理文件存储HDFS的权限RAM中可授权的文件存储HDFS管控操作在RAM中可以为子用户授予以下文件存储...

创建文件系统实例后,为什么无法访问文件存储HDFS

如果创建文件系统实例后无法访问文件存储HDFS,请根据以下几种情况进行排查:确认访问文件存储HDFS服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载点使用的权限组中已配置权限规则,详情...

概览

文件存储HDFS的SDK包含文件系统SDK和管控系统SDK。目前公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件存储HDFSSDK实现了HadoopFileSystem接口,提供一种Hadoop兼容的文件系统,对外输出为一个单独的JAR文件,即aliyun-sdk-dfs...

查看权限组

您可以在文件存储HDFS控制台查看已经创建的权限组信息。前提条件在查看权限组列表之前,您需要完成创建文件系统及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤登录文件存储HDFS控制台。在权限组页面中,你...

监控文件系统状态和性能

您可以通过阿里云云监控服务查看文件存储HDFS的监控项数据图表,了解服务运行情况。并通过设置报警规则,及时获取异常信息。本文介绍如何在云监控控制台添加监控项图表及报警规则。前提条件已创建文件系统。具体操作,请参见创建文件系统。...

删除文件系统

您可以在文件存储HDFS控制台删除某个已创建的文件系统。前提条件在删除某个文件系统之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上的某个...

查看文件系统

您可以在文件存储HDFS控制台查看某个已创建文件系统的详细信息。前提条件在查看文件系统详情之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上...

创建权限组规则

文件存储HDFS的权限组中包括各种权限组规则,对文件系统实例的权限进行具体的管理。使用文件存储HDFS前,需要为已创建的权限组创建权限组规则并配置相关参数。背景信息在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来...

查看挂载点

您可以在文件存储HDFS控制台查看已经创建的挂载点详情。前提条件在查看挂载点列表之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件...

添加挂载点

挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址,每个挂载点都对应一个域名,ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。前提条件对文件系统添加挂载点前,您需要确保...

删除权限组

您可以在文件存储HDFS控制台删除某个已创建的权限组。前提条件在删除权限组之前,您需要完成创建文件系统与创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤登录文件存储HDFS控制台。在权限组页面中找到要删除的权限...

基于Dataworks的大数据一站式开发及数据治理

部署架构图相关产品文件存储HDFS阿里云文件存储HDFS(ApsaraFileStorageforHDFS)提供标准的HDFS访问协议,用户无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的分布式文件系统...

删除挂载点

您可以在文件存储HDFS控制台删除某个已创建的挂载点。前提条件在删除挂载点之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统...

创建权限组

通过权限组对文件系统的权限进行管理,在使用文件存储HDFS之前,需要创建权限组并配置相关参数。背景信息在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来允许指定的IP或网段访问文件系统,并可以给不同的IP或网段授予...

管理权限组规则

您可以在文件存储HDFS控制台对已创建权限组中的规则进行配置管理,包括编辑和删除。前提条件在管理权限组规则之前,您需要完成创建文件系统、创建权限组及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组,且权限组中已...

使用限制

本文档介绍文件存储HDFS及命令行工具存在的限制。如要了解更多有关开源Hadoop的信息,请参考Hadoop文档。HadoopFileSystem/AbstractFileSystem不支持目录修改时间(mtime)、访问时间(atime),不支持通过setTimes设置文件的mtime和atime...

集群吞吐性能测试

测试环境配置名称配置说明计算VM配置CPU核数:4核内存:16G机器数量:6台网络带宽:1.5Gbps文件存储HDFS配置实例大小:10T吞吐限速:1000MB/s软件配置ApacheHadoop:Hadoop2.7.6测试工具TestDFSIO是Hadoop系统自带的基准测试组件,用于测试...

介绍

文件存储NAS阿里云文件存储NAS(NetworkAttachedStorage)是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统,可共享访问、弹性扩展。NAS基于POSIX文件接口,天然适配原生操作系统。文件存储CPFS文件...

修改权限组

您可以在文件存储HDFS控制台修改某个已创建权限组的信息,包括名称和描述。前提条件在修改权限组信息之前,您需要完成创建文件系统及创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。背景信息任何挂载点都必须绑定一个权限组...

SDK示例

背景信息文件存储HDFS提供对ApacheHadoopFileSystemAPI的兼容,您可以参考HadoopFileSystemAPI进行开发。说明目前,部分HadoopFileSystemAPI的兼容还未在文件存储HDFSSDK中提供,详情请参见使用限制。准备工作已完成文件存储HDFS的配置,...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
产品推荐
块存储 文件存储 文件存储HDFS 云服务器 商标 对象存储 全站加速 DCDN SSL证书 共享流量包
这些文档可能帮助您
创建文件系统 上传本地文件 集群吞吐性能测试 服务端签名后直传 通用型NAS计费说明 通用型NAS

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折