CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算版文件系统最大...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算版文件系统最大...
管理数据流动
如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突，需要该OSS Bucket开启版本控制。更多信息，请参见 版本控制介绍。如果要配置自动...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
管理数据流动
本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。前提条件 源端OSS Bucket已设置标签（key:cpfs-dataflow,value:true）。在数据流动的使用过程中，不能删除和修改该标签，否则CPFS智算版文件系统数据流动无法访问Bucket的数据...
ModifyDataFlow-修改数据流动
修改数据流动的属性。接口说明 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询修改数据流动...
数据流动任务
类型 说明 导入（Import）将源端存储的数据一次性导入CPFS智算版文件系统。导入类型：支持导入文件的数据（MetaAndData）。导入路径：是文件OSS Bucket中的路径。数据流动任务按文件在OSS Bucket中的路径导入到CPFS智算版文件系统中。导出...
StopDataFlow-停用数据流动
停用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能停用 Running（正常）状态的数据流动。停用后，不可在数据流动上创建数据流动...
StartDataFlow-启用数据流动
启用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped（停止）状态的数据流动。当 DryRun 为 true 时，可校验启动该...
ModifyDataFlow-修改数据流动
修改数据流动的属性。接口说明 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询修改数据流动...
概述
结果表 目的数据存储，用于存储流数据分析的计算结果。每个流数据分析任务必须提供至少一个目的数据存储。边缘端支持的类型如下所示。EdgeBusSink：边缘端消息总线，会把流作业的处理结果输出到EdgeBus，可通过消息路由的配置决定流作业...
DeleteDataFlow-删除数据流动
删除一个数据流动。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...
DescribeDataFlowTasks-查询数据流动任务列表
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。说明 CPFS 智算版仅支持 MetaAndData 类型。MetaAndData Progress long...
CreateDataFlowTask-创建数据流动任务
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。Metadata Directory string 否 数据的源目录。限制：长度为 1~1023 个...
DescribeDataFlows-查询数据流动列表
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...
CPFS智算版数据流动（公测）
当您需要实现CPFS智算版文件系统与OSS Bucket之间的数据进行数据流动时，必须创建数据流动并为其创建数据流动任务，即可完成数据的高速传输。功能介绍 CPFS智算版支持以下数据流动功能：账号级别的数据流动 支持与同账号或跨账号OSS Bucket...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务失败原因。背景信息 通过控制台创建的数据流动任务为批式任务，仅能一次性导入或导出一个目录中的所有文件至另一个目录，无法实现单文件粒度的持续性...
DescribeDataFlowTasks-查询数据流动任务列表
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。说明 CPFS 智算版仅支持 MetaAndData 类型。MetaAndData Progress long...
DeleteDataFlow-删除数据流动
删除一个数据流动。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...
CreateDataFlowTask-创建数据流动任务
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。Metadata Directory string 否 数据的源目录。限制：长度为 1~1023 个...
DescribeDataFlows-查询数据流动列表
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...
CancelDataFlowTask-取消数据流动任务
取消一个Pending（等待）或Executing（运行中）状态的数据流动批式任务或流式任务。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动任务。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Pending...
数据流动流式任务最佳实践
为了便于CPFS智算版与OSS Bucket中的单文件粒度持续性的数据流动，您可以通过创建流式任务实现。方案概览 实现某一个目录下不同文件的导入导出，只需要4步：创建数据流动：通过创建数据流动，建立CPFS智算版文件系统任意子目录到OSS Bucket...
CancelDataFlowTask-取消数据流动任务
取消一个Pending（等待）或Executing（运行中）状态的数据流动批式任务或流式任务。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动任务。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Pending...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
DescribeDataFlowSubTasks-查询数据流动流式子任务...
查询数据流动批量子任务。接口说明 仅 CPFS 智算版 2.6.0 及以上版本支持。您可以在控制台文件系统详情页面查看版本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
ApplyDataFlowAutoRefresh-添加数据流动自动更新配置
配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到 CPFS 文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。自动更新间隔（AutoRefreshInterval）指 CPFS 每隔该时间间隔...
CancelDataFlowSubTask-取消数据流动流式子任务
取消数据流动流式任务。接口说明 仅 CPFS 智算版 2.6.0 及以上版本支持。您可以在控制台文件系统详情页面查看版本信息。仅支持在 CREATED 和 RUNNING 状态下取消数据流动流式任务。数据流动流式任务是异步执行的，您可通过 ...
ModifyDataFlowAutoRefresh-修改数据流动自动更新配置
修改数据流动中的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...
CancelDataFlowAutoRefresh-取消数据流动自动更新配置
取消指定数据流动上的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Running（正常）、Stopped（停止）状态数据流动的自动...
CreateDataFlowSubTask-创建数据流动流式子任务
创建数据流动流式任务的子任务。接口说明 仅 CPFS 智算版 2.6.0 及以上版本支持。您可以在控制台文件系统详情页面查看版本信息。仅支持状态为 Executing（执行中）的数据流动流式任务创建子任务。数据流动流式任务是异步执行的，您可通过 ...
创建工作流
工作流数据存储 建议您配置该参数，将其配置为OSS Bucket存储路径，用于存储运行中产出的临时数据和模型。若不设置，则取工作空间的默认存储。系统会在每次运行时，自动为您创建 工作流存储路径/任务ID/节点ID 的临时文件夹。简化您为工作...
JavaSDK实现数据流分片上传的代码样例
但是在实际使用过程中，服务端可能获取的是网络流数据并用来进行分片上传，该方法需要将网络流数据保存为本地文件后，再上传该文件，这便会涉及中转存储的再上传步骤，即非实时的上传。本文主要提供数据流分片上传的实现样例。详细信息 ...
数据流管理
如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您可以使用索引生命周期管理功能（ILM）来管理后备索引，将旧的后备索引移动到低价的硬件上，并删除不需要的索引，从而帮助您降低成本及开销。...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 高级型 通用型NAS的...
数据湖构建
数据湖构建是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户迅速实现云原生数据湖及OpenLake...
数据存储目录结构说明
本章介绍LindormDFS默认的...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时...适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。
阿里云存储服务优化
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
- 产品推荐
- 这些文档可能帮助您