创建及管理数据集

其中 选择数据存储 支持配置为 阿里云对象存储(OSS)、阿里云文件存储(通用型NAS)、阿里云文件存储(极速型NAS)、阿里云文件存储(CPFS)和 阿里云文件存储(智算CPFS),使用各个云产品创建数据集时的参数配置说明如下:阿里云对象...

应用场景

文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算,也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存

文件存储HDFS版

文件存储HDFS版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大...

CPFS并行文件存储

CPFS并行文件存储 提供高性能计算文件存储,支持标准的POSIX和MPI-IO协议,自带的高性能计算程序无需任何接口适配和性能优化即可高效执行,满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

文件存储 HDFS 版和对象存储OSS双向数据迁移

本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...

文件存储

本文为您介绍 PolarDB PostgreSQL版(兼容Oracle)的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中;只读节点的CLOG文件会在各自...

账单和用量查询

您可以通过查询文件存储NAS的账单,及时了解其收费明细,更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏,选择 账单管理>账单详情。在 明细账单 页...

配置CDH6使用文件存储 HDFS 版

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

阿里云存储服务

文件存储 阿里云文件存储NAS(Apsara File Storage)是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统,支持NFS和SMB协议。NAS提供极速型、通用性能型、...

使用OSS控制台上传数据文件

您可以单击 扫描文件扫描文件夹 选择本地文件或文件夹,或者直接拖拽目标文件或文件夹到待上传文件区域。如果上传文件夹中包含了无需上传的文件,请单击目标文件右侧的 移除 将其移出文件列表。重要 如果上传的文件与存储空间中已有的...

创建文件系统

前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时,按照页面引导开通服务。重要 在开通页面购买的产品为NAS资源包,并不是NAS文件系统。NAS资源包仅用于抵扣NAS文件系统存储容量费用。更多信息,请参见 资源包概述。...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

控制台快速入门

您可以单击 扫描文件扫描文件夹 选择本地文件或文件夹,或者直接拖拽目标文件或文件夹到待上传文件区域。重要 使用拖拽方式上传文件夹时,OSS会保留文件夹内的所有文件和子文件夹。文件上传过程中,请勿刷新或关闭页面,否则上传任务会...

新购ECS时挂载NAS文件系统

挂载多个文件系统 如果要在新购买的ECS实例上同时挂载多个NAS文件系统,请您继续单击 添加文件存储 进行配置。并注意以下几点配置事项:挂载地址:所有的挂载地址必须属于同一个专有网络VPC。如果没有同属于一个VPC的挂载地址,可以为NAS...

身份管理

推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问文件存储NAS。RAM用户 RAM用户需要由阿里云账号(即主账号)或拥有管理员权限的RAM用户、RAM角色来创建,且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。对于RAM...

logging(日志转存)

prefix 日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。重要 生成日志的源Bucket和存储日志的目标Bucket可以相同也可以不同,但是必须位于同一...

存储空间占用情况

OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/路径下,并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...

断点续传上传

同步的方式 以下代码以同步的方式断点续传上传examplefile.txt文件到目标存储空间examplebucket中exampledir目录下的exampleobject.txt文件,并将断点记录文件保存到本地。填写Bucket名称,例如examplebucket。String bucketName=...

create-symlink(创建软链接)

软链接功能用于快速访问存储空间(Bucket)内的常用文件(Object)。通过 create-symlink 创建软链接后,您可以通过软链接文件快速打开源文件,类似于Windows的快捷方式。注意事项 要创建软链接,您必须具有 oss:PutObject 权限。具体操作...

日志转存

日志前缀:日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。例如,日志前缀指定为 log/,则日志文件将被记录在 log/目录下。单击 保存。使用阿里...

变量

变量 说明 示例值 bucket 原始文件存储空间(Bucket)名称。test-bucket key 原始文件保存在存储空间中的资源名。重要 使用该变量时请避免将输出文件和输入文件设置为相同文件,否则会覆盖源文件或在批处理时循环触发。path1/path2/name....

使用NAS实现共享存储和持久化存储-Flexvolume

已在文件存储控制台创建一个文件系统,请参见 Linux系统挂载NFS协议文件系统。创建的文件系统需要与您的Kubernetes集群在同一可用区。已在创建好的文件系统中添加容器服务Kubernetes集群的挂载点,请参见 管理挂载点。文件系统挂载时的VPC...

基础管理FAQ

文件存储服务默认使用AliyunNASManageENIRole角色来访问您在其他云产品中的资源。解决方案:登录 NAS控制台。在 概览 页面的 常用入口 区域,单击 授权管理。在 极速型和CPFS默认服务授权 卡片,单击 前往授权。在 云资源访问授权 页面,...

媒体处理概述

工作原理 离线转码:将视频文件上传到OSS存储空间,创建媒体处理任务,任务执行成功后,转码后的文件存储在OSS中。边转边播:将视频文件上传到OSS存储空间,创建边转边播播放列表,立即播放,对视频实时按需转码并存储在OSS中。处理参数 ...

快照

目前,快照功能免费公测中,公测期间不保障 文件存储NAS服务等级协议(SLA)。注意事项 一个文件系统最多支持手动创建128个快照实例和自动创建128个快照实例。如果文件系统存在创建中的快照,您无法为该文件系统再次创建快照。如果创建快照...

定时备份

为了避免因误删除、误修改、误覆盖操作等情况引起的数据丢失或受损,您可以通过 云备份 对存储空间(Bucket)内的文件(Object)进行定期备份。当您的Object意外丢失时,可通过云备份进行恢复。云备份 对支持配置灵活备份策略,将数据备份...

Linux系统挂载SMB协议文件系统

云服务器ECS(Linux)WebServer共享访问场景 在多个云服务器ECS(Linux)上安装WebServer(如apache),且SMB文件系统作为共享文件存储。说明 SMB文件系统主要特点是共享访问、横向扩展、高可用,由于和本地硬盘实现机理不同,某些场景的小...

CPFS-NFS客户端挂载文件系统(推荐)

您可以在文件存储NAS控制台文件系统列表页面,单击目标文件系统后的 管理,进入 协议服务 页面,在 操作 列,单击 导出目录,进入 导出目录 面板获取挂载地址。CPFS文件系统目录:CPFS的根目录(/share)或任意子目录(例如:/share/path)...

Linux客户端以AD域用户身份挂载并使用SMB文件系统

您可以在文件存储控制台 文件系统列表 页面,单击目标文件系统前的 图标,在挂载点列表的 挂载点地址 列,将鼠标置于 图标,获取挂载点地址。重启autofs服务。systemctl restart autofs.service 确认自动挂载配置结果。假设创建了/205dee4*...

CPFS-POSIX客户端挂载文件系统(Alibaba Cloud Linux...

文件存储CPFS兼容POSIX接口,通过安装CPFS-POSIX客户端、挂载文件系统使用。文件存储CPFS-POSIX客户端提供定制化服务,支持在Alibaba Cloud Linux 2操作系统中安装使用。如果您希望通过NFS协议访问CPFS文件系统,请参见 CPFS-NFS客户端挂载...

常见问题

当目标文件超过100 MB时,ossutil默认使用断点续传上传或下载目标文件,并将过程中生成的断点信息文件保存在.ossutil_checkpoint 文件夹中。上传、下载任务完成后,会自动删除这个文件夹。若单机运行超过一个ossutil实例,且都在进行上传或...

ZIP包解压

函数计算解压ZIP文件,并将解压后的文件存储至OSS的指定目录中。配置ZIP包解压规则时需要给函数计算服务授权。授权时将新建角色,函数计算使用角色获取OSS上的ZIP包,并将解压后的文件保存回OSS。新建角色时会同步授予角色相应的权限策略...

执行镜像安全扫描

云安全中心的镜像安全扫描功能,可以帮助您检测您的镜像中是否存在镜像漏洞、基线风险、恶意样本和敏感文件,为您创造安全的镜像运行环境。本文介绍如何进行镜像安全扫描。前提条件 已购买容器镜像服务企业版实例或已接入私有镜像仓库。...

功能特性

数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据库文件存储实施加密,可以确保数据库文件...

查看镜像安全扫描结果

查看已扫描镜像数和未扫描镜像数 在 镜像安全扫描 页面上方,单击 已扫描镜像数、未扫描镜像 下的数字,在 已扫描镜像列表 或 未扫描镜像列表 面板,查看相应镜像列表。重要 未扫描镜像包括未扫描过的镜像和扫描失败的镜像。查看镜像系统...

什么是文件存储 HDFS 版

文件存储 HDFS 版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。您...

计费常见问题

本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后,就开始计费吗?文件存储 HDFS 版服务如何停止计费?删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?使用文件系统上传下载数据时,是否计费...

一般性问题

1.数据库文件存储DBFS是什么,适合什么场景?数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于:OLTP及OLAP数据库场景:例如,MySQL、PostgreSQL等。NoSQL数据库场景:例如,MongoDB、RocksDB等。2...

开通文件存储 HDFS 版服务

本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面,填写必要信息后单击 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库文件存储 文件存储HDFS版 文件存储 CPFS 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用