开始使用文件存储HDFS

文件存储HDFS的使用流程如下图所示:创建文件系统:创建文件存储HDFS文件系统实例,配置相关参数。创建权限组:创建权限组,配置相关参数。创建权限组规则:创建权限组规则,配置访问类型、授权地址、优先级等。添加挂载点:为文件存储HDFS...

开通文件存储HDFS服务

本文介绍如何开通文件存储HDFS服务。背景信息在使用阿里云文件存储HDFS服务之前,请确保您已经注册了阿里云账号并完成实名认证。如果您还没有创建阿里云账号,系统会在您开通文件存储HDFS时提示您注册账号。操作步骤登录阿里云官网。将鼠标...

文件存储 HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据。您无需对现有大数据分析应用做...

阿里云爆款特惠专场,精选爆款产品低至0.55折!

1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!
广告

使用云企业网跨VPC访问文件存储HDFS

本文档主要介绍如何使用云企业网(CEN)跨VPC访问文件存储HDFS。背景信息阿里云提供云企业网服务实现跨VPC访问文件存储HDFS,主要场景如下所示。场景描述同账号同地域跨VPC访问文件存储HDFS访问文件存储HDFS的计算实例(例如ECS)与文件...

使用Fuse-DFS挂载文件存储HDFS

执行以下命令在在已映射文件存储HDFS的本地文件夹中创建文件,创建成功后,您可以在文件存储HDFS查看到该文件。cd~/FuseDfs_testecho"fuse-dfs">fusecatfuse卸载本地的挂载文件夹。fusermount-u~/FuseDfs_test注意挂载文件存储HDFS后,...

功能特性

文件存储HDFS具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成文件存储HDFS允许您就像在Hadoop分布式文件系统(HDFS)中管理和访问数据。文件存储HDFSSDK可在所有ApacheHadoop2.x环境中使用,包括阿里云EMR和阿里云Flink。...

迁移开源HDFS的数据到文件存储HDFS

创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。验证文件系统和计算节点之间的连通性。执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。hadoopfs-mkdir/...

SDK示例

1){System.out.println("本类为查看文件存储hdfs上目录信息示例类,需要传入一个要查看的路径。\n"+"例如:hadoopjarhdfs_example-1.0-SNAPSHOT.jarcom.alibaba.dfs.examples.exampleLs/");System.exit(-1);}StringfileName=args[0];设置...

什么是文件存储HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据。您无需对现有大数据分析应用做...

应用场景

文件存储HDFS适用于对吞吐要求较高的大数据分析与机器学习的业务需求...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS做永久保存

文件存储HDFS上使用TensorFlow

使用TensorFlow的apigfile查看文件存储HDFS上的数据。如果显示HDFS上的数据,则表示配置成功。(base)root@zb3~#pythonPython3.6.9|Anaconda,Inc.|(default,Jul302019,19:07:31)[GCC7.3.0]onlinuxType"help","copyright","credits"or...

文件存储HDFS和MaxCompute双向数据迁移

本文档介绍如何使用DataWorks实现MaxCompute与文件存储HDFS之间的双向数据同步。您可以将MaxCompute数据同步至文件存储HDFS,也可以将文件存储HDFS数据同步至MaxCompute。注意请确保Maxcompute、文件存储HDFS、Dataworks在同一个地域...

CDH6数据迁移

本文档介绍如何将CDH中本地HDFS的数据迁移到文件存储HDFS。前提条件在阿里云上创建ECS集群并安装CDH,具体安装方法请参考CDH相关文档。背景信息CDH(Cloudera'sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种,您可以...

E-MapReduce数据迁移

本文介绍如何将E-MapReduceHDFS上的数据迁移到文件存储HDFS。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式...

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用文件存储HDFS,详情请参见配置CDH6使用文件存储HDFS。背景信息当CDH已经成功运行在阿里云文件存储HDFS上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDHHDFS服务的云盘,降低集群的拥有...

使用RAM授权访问

文件存储HDFS默认授权策略文件存储HDFS默认授权策略如下:策略说明AliyunHDFSReadOnlyAccess只读访问文件存储HDFS的权限AliyunHDFSFullAccess管理文件存储HDFS的权限RAM中可授权的文件存储HDFS管控操作在RAM中可以为子用户授予以下文件存储...

创建文件系统

文件系统实例是实际运行的文件存储HDFS实体。在使用文件存储HDFS前,需要先创建文件系统实例。操作步骤登录文件存储HDFS控制台。在导航栏选择要创建文件系统实例的区域,如华东1(杭州)。在概览页面,单击创建文件系统。说明文件系统容量...

使用限制

WebHDFSRESTAPI不支持文件存储HDFS文件/目录命名规范文件存储HDFS中文件/目录的命名规则有如下限制:路径须是以unicode编码的字符或者字符串。文件名和目录名不能为如下字符串:空字符串单个点(.)两个点(.)文件名和目录名中不能包含...

卸载并释放E-MapReduce HDFS使用的云盘

已配置E-MapReduce使用文件存储HDFS,详情请参见配置E-MapReduce服务使用文件存储HDFS。在卸载磁盘前,请停止E-MapReduce集群中的所有服务,等到卸载磁盘操作完成后再启动。背景信息当E-MapReduce已经成功运行在阿里云文件存储HDFS上时,...

文件存储HDFS和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS和对象存储OSS之间的数据迁移操作过程。您可以将文件存储HDFS数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS。背景信息阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件存储...

概览

文件存储HDFS的SDK包含文件系统SDK和管控系统SDK。目前公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件存储HDFSSDK实现了HadoopFileSystem接口,提供一种Hadoop兼容的文件系统,对外输出为一个单独的JAR文件,即aliyun-sdk-dfs...

查看文件系统

您可以在文件存储HDFS控制台查看某个已创建文件系统的详细信息。前提条件在查看文件系统详情之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上...

文件存储HDFS操作审计日志说明

阿里云文件存储HDFS已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSSBucket中,满足实时审计、问题回溯分析等需要。本文介绍ActionTrail中记录的...

创建文件系统实例后,为什么无法访问文件存储HDFS

如果创建文件系统实例后无法访问文件存储HDFS,请根据以下几种情况进行排查:确认访问文件存储HDFS服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载点使用的权限组中已配置权限规则,详情...

查看挂载点

您可以在文件存储HDFS控制台查看已经创建的挂载点详情。前提条件在查看挂载点列表之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件...

添加挂载点

挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址,每个挂载点都对应一个域名,ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。前提条件对文件系统添加挂载点前,您需要确保...

集群吞吐性能测试

bufferSize8388608-resFile/tmp/TestDFSIOwrite.log执行以下命令查看文件存储HDFS已写入的文件数量及大小./hadoopfs-count-q-h/benchmarks/TestDFSIO/io_data执行以下命令查看生成的统计信息文件。cat/tmp/TestDFSIOwrite.log测试结果如下...

查看权限组

您可以在文件存储HDFS控制台查看已经创建的权限组信息。前提条件在查看权限组列表之前,您需要完成创建文件系统及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤登录文件存储HDFS控制台。在权限组页面中,你...

创建权限组规则

文件存储HDFS的权限组中包括各种权限组规则,对文件系统实例的权限进行具体的管理。使用文件存储HDFS前,需要为已创建的权限组创建权限组规则并配置相关参数。背景信息在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来...

删除文件系统

您可以在文件存储HDFS控制台删除某个已创建的文件系统。前提条件在删除某个文件系统之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统列表上的某个...

监控文件系统状态和性能

您可以通过阿里云云监控服务查看文件存储HDFS的监控项数据图表,了解服务运行情况。并通过设置报警规则,及时获取异常信息。本文介绍如何在云监控控制台添加监控项图表及报警规则。前提条件已创建文件系统。具体操作,请参见创建文件系统。...

挂载文件系统

您可以下载文件存储HDFS文件系统SDK的JAR文件aliyun-sdk-dfs-x.y.z.jar,将其部署在Hadoop生态系统组件的CLASSPATH上,推荐将其部署到hadoop-common-X.YZ.jar所在的目录内。说明Hadoop版本不低于2.7.2。例如,对于Spark2.3.0,解压后的目录...

文件存储HDFS上使用Presto

本文档主要介绍如何在文件存储HDFS上搭建及使用Presto。背景信息Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。说明在本...

文件存储HDFS上使用Apache Flink

本文介绍在文件存储HDFS上搭建及使用ApacheFlink的方法。准备工作在文件存储HDFS上使用ApacheFlink,需要先完成以下准备工作。说明本文档的操作步骤中涉及的安装包版本号、文件夹路径,请根据实际情况进行替换。开通文件存储HDFS服务并创建...

创建权限组

通过权限组对文件系统的权限进行管理,在使用文件存储HDFS之前,需要创建权限组并配置相关参数。背景信息在文件存储HDFS中,权限组是一个白名单机制,通过向权限组添加规则,来允许指定的IP或网段访问文件系统,并可以给不同的IP或网段授予...

删除挂载点

您可以在文件存储HDFS控制台删除某个已创建的挂载点。前提条件在删除挂载点之前,您需要完成创建文件系统及添加挂载点中的步骤,或区域中已有创建完成的文件系统和挂载点。操作步骤登录文件存储HDFS控制台。在文件系统页面,单击文件系统...

公测期间使用文件系统有哪些限制?

文件存储HDFS在公测期间会对单个文件系统的使用进行一定的限制,包括:单个用户可以创建的文件系统数量:1单个文件系统最大容量:10TB单个文件系统目录+文件数最大数量:10万单个文件系统最多包含挂载点数量:2单个用户可以创建的权限组...

删除权限组

您可以在文件存储HDFS控制台删除某个已创建的权限组。前提条件在删除权限组之前,您需要完成创建文件系统与创建权限组中的步骤,或区域中已有创建完成的文件系统和权限组。操作步骤登录文件存储HDFS控制台。在权限组页面中找到要删除的权限...

管理权限组规则

您可以在文件存储HDFS控制台对已创建权限组中的规则进行配置管理,包括编辑和删除。前提条件在管理权限组规则之前,您需要完成创建文件系统、创建权限组及创建权限组规则中的步骤,或区域中已有创建完成的文件系统和权限组,且权限组中已...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折