什么是文件存储HDFS

文件存储HDFS版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。产品概述 文件存储HDFS版就像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。您无需对现有大...

计费常见问题

本文列举文件存储HDFS版的计费常见问题。计费 开通文件存储HDFS版服务后,就开始计费吗?文件存储HDFS版服务如何停止计费?删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?使用文件系统上传下载数据时,是否计费?欠费 ...

开通文件存储HDFS版服务

本文介绍如何开通文件存储HDFS版服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见注册阿里云账号和个人实名认证。操作步骤 登录阿里云官网。打开文件存储HDFS版申请公测页面。在申请公测页面,填写必要信息后单击提交。申请成功...

功能特性

文件存储HDFS版具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成 文件存储HDFS版允许您就像在Hadoop分布式文件系统 (HDFS)中管理和访问数据。文件存储HDFS版SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和...

迁移开源HDFS的数据到文件存储HDFS

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS版可以帮助您实现将开源HDFS的数据迁移到云上,并...

应用场景

文件存储HDFS版适用于对吞吐要求较高的大数据分析与机器学习的业务...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS版做永久保存

文件存储HDFS

阿里云文件存储HDFS版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS版允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据...

CDH6数据迁移

本文介绍如何将CDH中本地HDFS的数据迁移到文件存储HDFS版,实现存储计算分离。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。具体操作...

概览

本文介绍阿里云文件存储HDFS版提供的SDK。文件存储HDFS版的SDK包含文件系统SDK和管控系统SDK。目前公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件存储HDFS版SDK实现了Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,...

文件存储HDFS版上使用TensorFlow

本文介绍如何在文件存储HDFS版上使用TensorFlow。背景信息 TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。说明 由于TensorFlow对文件系统的schema有特别的指定,因此在文件存储HDFS版上使用TensorFlow时...

欠费说明

本文介绍文件存储HDFS版欠费后服务状态及查看欠费金额。欠费停服说明 状态 资源状态 如何操作 欠费预警 系统根据服务最近7小时的账单应付金额的平均值来判断您的账户余额是否足以支付下三个账期的费用。如果不足以支付,系统将以短信或邮件...

使用Fuse-DFS挂载文件存储HDFS

本文主要介绍如何使用Fuse-DFS工具实现文件存储HDFS版在本地文件系统的映射。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8...

文件存储HDFS版和MaxCompute双向数据迁移

本文介绍如何使用DataWorks实现MaxCompute与文件存储HDFS版之间的双向数据同步。您可以将MaxCompute数据同步至文件存储HDFS版,也可以将文件存储HDFS版数据同步至MaxCompute。前提条件 MaxCompute、文件存储HDFS版、DataWorks属于同一个...

快速入门

本文将指导您快速部署和使用阿里云文件存储HDFS版。您需要先创建文件存储HDFS版文件系统并完成挂载操作。部署成功后,您就可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。前提条件 已开通文件存储...

账单和用量查询

您可以通过阿里云管理控制台查看文件存储HDFS版的费用账单和用量明细。查看文件系统费用账单 登录用户中心。在左侧导航栏,单击账单管理>账单详情。在明细账单页签中,设置查询账期,并在列表中筛选产品为文件存储HDFS版。您还可以通过 ...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储HDFS版。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线...

卸载并释放E-MapReduce HDFS使用的云盘

当E-MapReduce已经成功运行在阿里云文件存储HDFS版上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建E-MapReduce HDFS服务的云盘,降低集群的拥有成本。注意 从数据安全性考虑,数据迁移后建议进行数据完整...

文件存储HDFS

将Hadoop或其他机器学习应用部署在多个计算资源上,应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...

文件存储HDFS

将Hadoop或其他机器学习应用部署在多个计算资源上,应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...

卸载并释放CDH6 HDFS服务使用的云盘

当CDH已经成功运行在阿里云文件存储HDFS版上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH HDFS服务的云盘,降低集群的拥有成本。注意 从数据安全性考虑,数据迁移后建议进行数据完整性校验并让CDH...

操作日志

阿里云文件存储HDFS版已与阿里云ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯分析等需要。本文介绍ActionTrail中记录...

挂载HDFS文件系统

本文介绍挂载及卸载文件存储HDFS版文件系统的操作。前提条件 已为ECS实例安装JDK,且JDK版本不低于1.8。已创建文件系统并添加挂载点。具体操作,请参见创建文件系统和添加挂载点。已安装Hadoop客户端,建议您使用的Hadoop版本不低于2.7.2。...

创建文件系统实例后,为什么无法访问文件存储HDFS版?

本文介绍了在创建文件系统实例后无法访问文件存储HDFS版的排查方法。您可以请根据以下几种情况进行排查: 确认访问文件存储HDFS版服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载点使用的...

文件存储HDFS版上使用Apache HBase

本文主要介绍在文件存储HDFS版上使用Apache HBase的方法。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已部署Apache ...

删除文件系统

您可以在文件存储HDFS版控制台删除某个已创建的文件系统。前提条件 在删除某个文件系统之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS版控制台。在文件系统页面,单击文件系统列表上的...

查看文件系统

您可以在文件存储HDFS版控制台查看某个已创建文件系统的详细信息。前提条件 在查看文件系统详情之前,您需要完成创建文件系统中的步骤,或区域中已有创建完成的文件系统。操作步骤 登录文件存储HDFS版控制台。在文件系统页面,单击文件系统...

文件存储HDFS版上使用Presto

本文主要介绍如何在文件存储HDFS版上搭建及使用Presto。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已下载Presto安装包和...

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移操作过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作...

计费项

本文为您介绍文件存储HDFS版服务的计费说明。产品定价关于文件存储HDFS版的计费定价,请参见文件存储HDFS版产品定价。计费周期文件存储HDFS版每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如,当前时间是9:30...

文件存储HDFS版上使用Apache Spark

本文主要介绍如何在挂载文件存储HDFS版的Hadoop集群上安装及使用Apache Spark。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK且JDK版本不低于1.8...

文件存储HDFS版支持Python SDK吗?

文件存储HDFS版提供两种SDK,分别为管控系统SDK和文件系统SDK。仅管控系统支持Python&SDK,文件系统仅支持Java& SDK。更多有关管控系统支持的SDK版本,请参见OpenAPI。

文件存储HDFS版上使用Apache Flink

本文介绍如何在挂载文件存储HDFS版的Hadoop集群上安装及使用Apache Flink。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。...

DeleteUserGroupsMapping-删除用户和组的映射关系

调用DeleteUserGroupsMapping删除文件存储HDFS版文件系统实例的用户和组的映射关系。接口说明文件存储HDFS版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过OpenAPI进行管理。有关文件存储HDFS文件系统目录和文件访问权限...

集群吞吐性能测试

tmp/TestDFSIOwrite.log 执行以下命令查看文件存储HDFS版已写入的文件数量及大小./hadoop fs-count-q-h benchmarks/TestDFSIO/io_data 执行以下命令查看生成的统计信息文件。cat tmp/TestDFSIOwrite.log测试结果如下所示。Total MBytes ...

创建文件系统

文件系统实例是运行文件存储HDFS版的实体。在使用文件存储HDFS版前,您需要先创建文件系统实例。操作步骤 登录文件存储HDFS版控制台。在顶部菜单栏选择要创建文件系统实例的区域。例如华东1(杭州)。在概览页面,单击创建文件系统。说明 ...

CreateUserGroupsMapping-创建用户和组的映射关系

调用CreateUserGroupsMapping创建文件存储HDFS版文件系统实例的用户和组的映射关系。接口说明文件存储HDFS版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过OpenAPI进行管理。有关文件存储HDFS文件系统目录和文件访问权限...

ListUserGroupsMappings-查看用户和组的映射关系

调用ListUserGroupsMappings查看文件存储HDFS版文件系统实例的用户和组的映射关系 接口说明文件存储HDFS版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过OpenAPI进行管理。有关文件存储HDFS文件系统目录和文件访问权限的...

基本概念

本文介绍了文件存储HDFS版使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问目标...

文件存储HDFS版上使用Apache Tez

本文主要介绍在挂载文件存储HDFS版的Hadoop集群上安装及使用Apache Tez。前提条件已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。更...

管理挂载点

本文介绍如何在文件存储HDFS版控制台上管理挂载点,包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件已创建文件系统。具体操作,请参见创建文件系统。挂载点说明一个阿里云账号最多可以添加...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用