新功能发布记录
用户指南 Topic操作 2020年11月 新功能/特性 简要概述 类别 文档 Topic新增字段修改 通过页面新增Topic Schema字段 用户指南 Topic操作 同步任务修改字段 同步详情页面可以修改同步字段 数据同步 Topic操作 2020年12月 新功能/特性 简要...
数据传输服务DTS如何同步一个表的某些字段数据
概述 本文主要介绍数据...详细信息 数据传输服务DTS可以实现同步一个表的某些字段数据，不同步其他字段，具体操作请参见 库表列映射。如果目标的对象已经存在数据，数据传输服务DTS会出现预检查失败，无法进行迁移。适用于 数据传输服务DTS
Quick BI中当数据源的表结构发生变化如何在数据集中...
问题描述 MySQL数据库新增字段之后，数据集不能同步更新字段，或者MySQL数据库删减字段，数据集报错。问题原因 数据源修改了表结构，数据集不能自动同步，需要手动调整。解决方案 点击上方数据集依赖的表名，在右侧字段列表中勾选新增的...
GDB中配置ES信息
如果您刚开始并不想指定字段，也需要运行该语句，要不然ES服务将不可用，您只需要在vertex与edge中不指定同步字段就好，即"vertex":[""],"edge"=[""]这样的形式（双引号内不要有空格），将会同步点边属性所有的字段至ES中,但是包含“,”号...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务...目前基于数据库内网的数据源不能使用公共数据集成资源组运行任务，...
创建同步MaxCompute
这里导入字段中设置导入f1、f2字段，不同步f3字段。4 确认同步数据 可以从DataHub管控台查看对应同步任务的同步信息。查询MaxCompute数据结果，结果如下：可以看到在USER_DEFINE模式下，DataHub会根据 MaxCompute分组字段所对应的value 将...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
实时同步字段格式
操作类型（I/D/U）数据对应的时间戳 是否是变更前（Y/N）是否是变更后（Y/N）真实数据字段1 真实数据字段2 真实数据字段3 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个...
Redis企业版实例间的双向同步
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从RDS同步至MaxCompute
源库支持的实例类型 执行数据同步操作的MySQL数据库支持以下实例类型：ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 同一或不同阿里云账号下的RDS MySQL实例 本文以 RDS实例 为例介绍...
PolarDB PostgreSQL版间的迁移
前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB PostgreSQL版 集群的 wal_level 参数值设置为 logical。设置方式，请参见 设置集群参数。目标数据库的...
增量数据同步
增量 增量字段 数据进行增量同步时依据的字段。针对数值、时间日期、字符串类型字段，或者自增主键。根据所选字段进行最新点位查询和记录（select max(column)），并据此拼接数据过滤语句，实现数据增量同步。如当前数据源不具备符合要求...
管理数据集
单击 数据库连接 后的 设置，修改数据库连接信息。单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 立即同步，可以立即完成数据同步操作。若您的...
同步任务修改
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
支持的数据库
RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL创建，DTS暂不支持基于 ...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户（简称为 OB_MySQL）至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
一键表数据同步
同步设置 同步字段 选择需要同步的MaxCompute表字段，可以选择全部字段，也可以选择部分字段。分区配置 选择需要同步的分区字段。当前Hologres仅支持一级分区。MaxCompute的多级分区，则在Hologres中设置一级分区，其余分区自动映射为...
一键同步MaxCompute数据
在 新建节点 对话框中，输入 节点名称，并选择 目标文件夹 和 数据库。单击 提交。在编辑节点页面，配置各项参数。参数 描述 外部表来源 已有外部表：表示在Hologres中已经建立MaxCompute数据映射的外部表。新建外部表：表示外部表在...
结构设计
控制修改字段数据类型 控制修改索引风险 控制删除主键 控制删除索引 控制主键更改为索引 控制修改主键包含列 控制修改普通索引 控制新增索引类型 控制SQL执行风险 控制核心实例风险 控制表存储引擎 控制锁表/大表变更风险 审批规则校验 ...
无感集成（Zero-ETL）
配置库表字段，配置信息如下：库表字段配置 说明 示例值 数据库名称 选择已有的数据库。public 表名称 选择已有的数据表。table1 主键字段 已选数据表中的主键所在字段。id 分布键 数据表中的一个或多个字段，用来确定数据在分布式环境下的...
数据建模诊断
在倾斜表中，您可以查看某个数据库中已经存在倾斜的表，重新进行分布字段的选择。具体方法，请参见 表结构设计。复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式（DISTRIBUTED BY BROADCAST），复制表会...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
湖仓一体
指定数据库 通过在Catalog配置中设置 include_database_list 和 exclude_database_list，可以指定需要同步的数据库。include_database_list：支持只同步指定的Database，以英文逗号（,）分隔，默认同步所有Database。Database名称是区分大...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
新建数据模型
内存实体 不存储在数据库中，仅临时存储在应用程序内存中的实体。系统默认实体 系统默认实体里面既含有实体，也有内存实体。系统默认实体实际上是引用模块的实体，系统数据模块是应用的默认引用模块。操作步骤 登录 魔笔。在顶部菜单栏选择...
映射富化函数
函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。相关示例，请参见 使用e_dict_map、e_search_dict_map函数进行数据富化。e_table_map 与目标表格进行映射，...
数据上传
更新（update）：上传的数据覆盖目标表的旧数据，但仅覆盖配置有列映射的字段数据。说明 仅Hologres引擎需要配置该参数。目标表（上传数据至新建表）表名：自定义表名称。表类型：根据需要选择非分区表或分区表。若选择分区表，则需指定...
SPL指令
若该字段在输入数据中不存在，则不执行重命名。不支持同一字段被多次重命名。示例 示例1：保留特定字段。project level,err_msg 示例2：重命名字段。project log_level=level,err_msg 示例3：保留精确匹配的字段_tag_:*。project"_tag_:*...
文本查询
从数据库中搜索 在进行筛选查询时，当筛选项大于1000条时，默认展示前1000条的选项值，超出此范围可直接搜索，如果未搜索到您想要的选项值，您可尝试 从数据库中搜索。说明 仅展示类型为 下拉列表 且选项值来源为 自动解析 或 单个数据集 ...
Selector
名称 类型 描述 示例值 object-单个字段的查询条件 Lt string-小于 100（此字段小于100）Le string-小于等于 100（此字段小于等于100）Gt string-大于 10（此字段大于10）Ge string-大于等于 10（此字段大于等于10）Eq string-等于 victor...
属性设置器
用于获取字段数据的场景，支持设置静态数据、模板字符串。属性配置示例：{ name:'text',title:'文本内容',defaultValue:'文本',setter:{ type:'data-bind-field',props:{ supportStaticType:['char','text'],supportStaticDefaultValues:[{...
数据同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据...
通用参考
其功能定义存在差异，细节如下：SPL功能的入口 Logstore索引过滤结果作为输入 字段名大小写敏感 全文字段_line_实时消费 调用PullData API消费数据，比如自定义消费组、Flink计算等 使用Kafka协议消费Logstore 不支持。使用星号（*）表示...
查看数据安全配置
数据安全配置存在四种场景，下表介绍了数据安全配置的场景及字段的使用限制说明：关联键 分组 键 保护开关 字段的使用限制说明 不勾选 不勾选 开启 字段不能作为关联键，不能作为分组键。经比较函数、聚合函数处理后，才能出现在 SELECT ...
阿里邮箱AD同步&认证
2、可自定义的这些字段也支持不同步，如无需同步请提前告知。AD侧 邮箱侧 cn 姓名 sAMAccountName 账号名，默认邮箱地址@前缀 title 职位 telephoneNumber 工作电话 mobile 手机 mail 域别名/账号别名/独立多域账号 displayname 自定义昵称...
- 产品推荐
- 这些文档可能帮助您