场景:调度参数数据集成的典型应用场景

场景二:同步动态表名或文件中的数据 在同步时为目标表某字段赋值常量或时间变量 字段映射时您可以手动编辑字段并结合调度参数使用,为目标表某字段赋值同步业务日期的常量值。具体插件是否支持该操作请以各插件的支持情况为准。场景三:...

敏感数据溯源

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 通过...

迁移RDS SQL Server数据到本地SQL Server

RDS SQL Server支持通过物理备份文件将云上的数据迁移到本地数据库。说明 除了本文介绍的迁移方法外,您还可以使用 数据传输服务DTS(Data Transmission Service),将RDS SQL Server数据迁移至自建SQL Server。操作步骤 下载RDS SQL ...

EMR旧版数据开发迁移公告

迁移流程 通过使用EMR Workflow,您可以轻松将在EMR旧版数据开发的工作流和任务导出为兼容Apache Dolphinscheduler的工作描述JSON文件,通过EMR Workflow的导入功能,您可以快速导入工作流和任务,实现快速的迁移,从而节省大量的迁移...

参数文件

查看参数文件 参数文件上传后,可在 参数文件 查看参数文件的详细信息。登录 PTS控制台,在左侧导航栏选择 数据源>参数文件。查看参数文件的详细信息。展示了参数文件的文件名、创建者、最后修改时间、文件大小等信息。参数 说明 文件名 ...

参数文件

查看参数文件 参数文件上传后,可在 参数文件 查看参数文件的详细信息。登录 PTS控制台,在左侧导航栏选择 数据源>参数文件。查看参数文件的详细信息。展示了参数文件的文件名、创建者、最后修改时间、文件大小等信息。参数 说明 文件名 ...

文件数据

例如参数文件中两列分别表示UsernamePassword两个参数。john,123456 mike,234567 lilei,345678 步骤一:创建文件参数 登录 PTS控制台,在左侧导航栏选择 性能测试>创建场景,然后单击 PTS压测。在 创建PTS场景 页面,单击下方 数据源...

MySQL 性能测试

对两组采用相同的测试参数测试得出的数据中可以看出,MySQL on DBFS在性能的优势明显。下面是详细的性能数据展示:2xlarge ECS上的性能数据 压测线程数量 MySQL每秒事务数量(ESSD)MySQL每秒事务数量(DBFS)DBFS比Ext4+ESSD提升 8 ...

文件数据

例如参数文件中两列分别表示UsernamePassword两个参数。john,123456 mike,234567 lilei,345678 创建文件参数 登录 PTS控制台,在左侧导航栏选择 性能测试>创建场景,然后单击 JMeter压测。在 创建JMeter场景 页面,单击下方 数据源管理...

文件数据

例如参数文件中两列分别表示UsernamePassword两个参数。john,123456 mike,234567 lilei,345678 创建文件参数 登录 PTS控制台,在左侧导航栏选择 性能测试>创建场景,然后单击 JMeter压测。在 创建JMeter场景 页面,单击下方 数据源管理...

文件数据

例如参数文件中两列分别表示UsernamePassword两个参数。john,123456 mike,234567 lilei,345678 步骤一:创建文件参数 登录 PTS控制台,在左侧导航栏选择 性能测试>创建场景,然后单击 PTS压测。在 创建PTS场景 页面,单击下方 数据源...

数据扫描识别

只有在您的数据中的数据发生变化时,才会扫描有变化的文件或表。为了减少扫描对您数据库性能的影响,您可以参考以下规则配置全量扫描周期:增大全量扫描的扫描周期,有效减轻 DSC 扫描对数据库性能产生的影响。将扫描时间设置为数据库...

管理数据流动任务

删除(Evict)将释放CPFS上文件的数据,删除后文件在CPFS上只保留元数据,您仍能看到该文件,但文件的数据块已清除,不占用CPFS上的存储空间,访问该文件数据时,再源端存储(例如OSS)按需加载。说明 删除前,请务必确认对应文件在OSS上...

数据配置指令

背景信息 数据配置指令功能如下:自定义参数:二次定义全局参数,包括全局自定义参数和全局文件参数。文件参数设置:根据实际需求指定全局文件参数的某个参数为基准列,充分利用参数文件中的所有数据数据配置节点功能一般需与创建参数...

数据配置指令

背景信息 数据配置指令功能如下:自定义参数:二次定义全局参数,包括全局自定义参数和全局文件参数。文件参数设置:根据实际需求指定全局文件参数的某个参数为基准列,充分利用参数文件中的所有数据数据配置节点功能一般需与创建参数...

搭建与管理(基于Hadoop)

通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储分析,提供了一个既能处理结构化、半结构化数据,又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体,以及管理湖...

导入数据至维表

创建完成维表后,您可以在维表直接写入数据,也可以导入电子表格、本地CSV文件和Excel文件的数据至维表,为后续数据分析做准备。前提条件 已创建完成一个维表,详情请参见 创建维表。操作步骤 在 维表 页面,单击 全部维表 下相应的 文件...

产品简介

什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台,使您能够以连续、实时的流形式轻松访问、存储管理数据。Confluent 由 Apache Kafka 的原始创建者构建,通过企业级功能扩展了 Kafka 的优势,同时消除了 ...

全局服务

客户端在发送请求时,将参数添加到请求的头部中,服务在接收请求时可以头部中提取参数值。Body 参数:仅在 POST 接口中使用,通过请求体传递给接口。Body 参数通常用于传递复杂的结构化数据,如 JSON 或 XML 格式的数据。请求体中可以...

Kafka兼容说明

引擎的表兼容Kafka协议,支持通过开源Kafka客户端写入数据,也支持通过Kafka生态工具将MySQL、日志等数据投递至引擎。本文介绍通过开源Kafka客户端将数据写入表的操作步骤。操作步骤 获取流引擎连接地址。具体操作,请参见 查看...

管理数据流动

在进行CPFS Fileset与OSS Bucket之间的数据流动之前,需要确保已经创建对应的数据流动。本文介绍如何在CPFS控制台创建并管理数据流动。前提条件 已创建CPFS Fileset。更多信息,请参见 创建Fileset。源端OSS Bucket已设置标签(key:cpfs-...

通过SQL模式创建API(Dataphin表)

数据表A where 数据表A.c=${id_card} and/or 数据表A.b>=${num} and/or 数据表A.c${num1} 重要 上述四种模板API的请求参数和返回参数需同一个逻辑表中获取,否则后续无法正常调用该API。单击 SQL试运行,在 请求参数输入 对话框,...

新建实时自定义源类型

Dataphin支持自定义实时数据源类型,您可以基于自定义的实时数据源类型,创建实时数据源实例...后续步骤 完成实时自定义源类型创建后,系统将生成该类型的数据源配置项,您可将该类型的数据源接入到Dataphin。详情请参见 新建自定义数据源。

数据流动概述

例如,执行 ls 命令列出与OSS Bucket链接的目录时,会按需OSS加载目录项的元数据,在访问文件时会按需OSS加载文件的数据块。数据的导入与导出 您可以创建数据流动任务实现CPFS与OSS之间的数据导入导出,以便在计算任务开始前将数据...

数据流运维

在 操作 列,对不同执行状态的数据流进行 终止、重跑、暂停、恢复 置成功 的操作。说明 对于执行成功的数据流,可以进行重跑操作。对于执行失败的数据流,可以将该数据流运行记录的状态置为成功。对于执行中的数据流,可以终止或暂停...

添加ClickHouse数据

本文档介绍在DataV添加ClickHouse数据源的方法,以及相关参数配置说明。前提条件 已准备好待添加的ClickHouse数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签选择 数据源管理,单击 添加数据。 类型 列表...

API概览

本产品(文件存储(NAS/CPFS)/2017-06-26)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

什么是文件存储NAS

兼容性 NAS文件存储提供良好的协议兼容性,支持NFS和SMB协议方案,兼容POSIX文件系统访问语义,提供强大的数据一致性和文件锁定。在NAS,任何文件修改成功后,用户都能够立刻看到修改结果,便于用户实时修改存储内容。重要特性 生命周期...

CreateDataFlowTask-创建数据流动任务

dfid-194433a5be31*SrcTaskId string 否 当指定 SrcTaskId 时,会目标数据流动任务拷贝 TaskAction、DataType EntryList 参数信息,您无需再单独指定。task-*TaskAction string 否 数据流动任务类型。取值:Import:源端存储将指定...

CreateDataStream

说明 您创建的数据流名称需要与索引模板的索引模式一一对应,且该索引模板已开启数据流。例如:索引模板的索引模式为ds-*,则对应的数据流名称应该为ds-。调试 您可以在OpenAPI Explorer直接运行该接口,免去您计算签名的困扰。运行...

概述

数据解密 在数据解密过程中,基础版Spark全密态计算引擎会应用配置中获取用户主密钥(MEK),再从文件的元数据中提取数据密钥(DEK)。数据密钥(DEK)会使用用户主密钥(MEK)解密,若用户主密钥(MEK)由应用程序管理,则在本地解密。...

导入数据至电子表格

在电子表格的编辑页面,您可以直接录入数据,也可以其他数据源导入数据,或将本地数据导入电子表格,以便为后续数据分析做好准备。本文将为您介绍如何将数据导入电子表格。前提条件 已创建一个空白的电子表格,详情请参见 创建电子表格。...

读写外部数据文本文件(oss_fdw)

阿里云支持通过oss_fdw插件将OSS中的数据加载到RDS PostgreSQL数据库,也支持将RDS PostgreSQL数据库中的数据写入OSS。前提条件 RDS PostgreSQL实例大版本为10或以上。说明 如果实例版本为PostgreSQL 14,需要内核小版本大于等于...

DescribeDataFlowTasks-查询数据流动任务列表

当 Key 取值为 DataTypes 时,Value 取值为数据流动任务的数据类型,包括 MetaAndData、Metadata Data。支持组合查询。当 Key 取值为 Originator 时,Value 取值为数据流动任务的发起者,包括 User,System。当 Key 取值为 Status 时,...

创建数据流

在数据管理DMS离线集成,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

数据源中心

EMR Workflow的数据源中心支持配置数据源,以满足不同的数据存储访问需求。本文为您介绍如何创建、编辑删除数据源。使用限制 数据源所在的集群运行工作时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...

ModifyDataFlow-修改数据流动

false ClientToken string 否 保证请求幂等性,您的客户端生成一个参数值,确保不同请求间该参数值唯一。ClientToken 只支持 ASCII 字符,且不能超过 64 个字符。更多信息,请参见 如何保证幂等性。说明 若用户未指定,则系统自动使用 ...

CREATE STREAM

数据流表仅支持新增数据,不支持更新数据删除数据。数据流的最小单元为Record,Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上,具体的存储格式可以在With语句指定。语法 CREATE STREAM(IF NOT ...

配置config.xml参数

本文介绍了修改 云数据库ClickHouse 集群config.xml配置文件中全局参数的方法。背景信息 云数据库ClickHouse 集群有若干参数参数默认值通常配置在config.xmluser.xml,您可以修改参数进行实例优化,其中:user.xml配置文件:您可以通过...

数仓开发任务

任务流 说明 相关文档 数据集成 显示任务流中的数据集成节点:DTS数据迁移节点离线数据集成节点。数据集成节点在项目空间的标准模式下试运行时,节点会空跑,以免生产数据迁移到测试环境的风险。配置DTS数据迁移节点 配置离线数据集成...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云数据库 Redis 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用