数据归档至PolarDB MySQL版
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
管理数据源
添加数据源后，您可查看数据源列表，了解当前添加的数据源概况，或执行数据源的删除、测试连通性等管理操作。前提条件 已添加目标数据源，目前支持的数据源请参见 附录：支持的数据源列表。进入数据源管理 页面 登录 DataV-Note控制台。在...
数据归档至AnalyticDB for MySQL 3.0
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
迁移时源库为DB2 for LUW的注意事项及限制
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
普通数据变更
DMS普通数据变更功能支持直接执行或定时执行SQL语句来修改数据库中的数据，例如INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL。DMS可以在预检查阶段对SQL的正确性进行校验、在审批阶段检查待执行的SQL是否会影响数据库性能及是否...
使用mysql_fdw访问MySQL数据
LIMIT OFFSET下推 在远端的MySQL数据库上执行LIMIT和OFFSET操作，不需要把所有数据拿到 云原生数据仓库 AnalyticDB PostgreSQL 版 数据库，减少了 云原生数据仓库 AnalyticDB PostgreSQL 版 数据库和MySQL数据库之间的数据流量。数据类型 ...
SQL 编辑和执行
执行计划 查看选中的或当前光标所在的 SQL 语句在执行前系统预估的执行计划（EXPLAINPLAN 操作的结果），展示的执行数据可能与实际执行语句后的数据略有不同，您可以使用该功能评估 SQL 语句。单击 执行计划 按钮，在 计划详情 页签中，...
迁移时源库为PolarDB MySQL版的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
从自建PostgreSQL迁移至PolarDB PostgreSQL版
在自建PostgreSQL数据库服务器上执行以下命令，备份数据库中的数据。pg_dump-U username-h hostname-p port dbname-Fd-j njobs-f dumpdir 参数说明：username：登录自建PostgreSQL数据库的账号。hostname：自建PostgreSQL数据库的连接地址...
迁移时源库为Oracle的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
从RDS PostgreSQL迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
同步时源库为PolarDB-X 2.0的注意事项及限制
其他限制 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片...
同步时源库为Oracle的注意事项及限制
警告 DTS在执行结构初始化时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，否则可能导致任务失败或数据不一致。关于数据类型映射关系的更多信息，请参见 结构初始化涉及的数据类型映射关系 不支持同步外部表。暂不支持...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
使用MongoDB工具将自建数据库迁移至副本集实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host mongodb_host-port port-u username-authenticationDatabase database 说明 mongodb_host：自建MongoDB数据库的服务器地址...
迁移时源库为MySQL的注意事项及限制
若仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。在迁移实例运行期间，不记录Binlog的变更操作所产生的数据（例如通过物理备份...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
Doris数据源
数据同步前准备 在DataWorks上进行数据同步前，您需要参考本文提前在Doris侧进行数据同步环境准备，以便在DataWorks上进行Doris数据同步任务配置与执行时服务正常。以下为您介绍Doris同步前的相关环境准备。准备工作1：确认Doris的版本 ...
同步时源库为PolarDB MySQL版的注意事项及限制
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
迁移时源库为MongoDB的注意事项及限制
源库的操作限制：在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更（包含数组类型数据的更新），否则会导致数据迁移任务失败或源库与目标库的数据不一致。由于该迁移任务不支持增量数据迁移，为保障数据一致性，全量数据迁移期间请勿...
购买数据安全中心
支持：开启：表示您可以通过 DSC 管理数据库、保护数据库。关闭：表示您购买的 DSC 不支持数据库管理能力。数据库防护实例数 基础服务。在 企业版 或 基础版 下，指定最多可防护的数据库资产实例数量。可选范围为1~2000，单位为个。说明 ...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
项目协同管理
工单管理 无数据库编辑权限的项目普通成员可以通过工单申请执行导出数据/导入数据/模拟数据/数据库变更/无锁结构变更/SQL 计划/数据归档任务。成员管理 项目管理员可以在成员页面中，添加/编辑/移除成员，以及管理库/表权限。消息通知 项目...
全增量同步任务运维
您可以在DataWorks 运维中心 的 查看周期实例 页面查看该同步任务Merge实例的执行情况，如果Merge任务和全量补数据操作产生冲突，您可以：暂停全量补数据操作，等待Merge任务执行完成后，再执行全量补数据操作。冻结即将运行的Merge实例，...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
使用MongoDB工具将自建数据库迁移至单节点实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host mongodb_host-port port-u username-authenticationDatabase database 说明 mongodb_host：自建MongoDB数据库的服务器地址...
使用MongoDB工具将自建数据库迁移至分片集群实例
步骤一：备份自建数据库 在自建MongoDB数据库所属的服务器中执行以下命令，备份所有数据库的数据。mongodump-host mongodb_host-port port-u username-authenticationDatabase database 说明 mongodb_host：自建MongoDB数据库的服务器地址...
DRDS（PolarDB-X 1.0）数据源
DRDS（PolarDB-X 1.0）数据源为您提供读取和写入DRDS（PolarDB-X 1.0）双向通道的功能，本文为您介绍DataWorks的DRDS（PolarDB-X 1.0）数据同步的能力支持情况。支持的版本 实时读取 支持DRDS（PolarDB-X 1.0）实例。创建DRDS（PolarDB-X 1...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
Oracle数据源
BIT和BOOL 二进制类 BLOB、BFILE、RAW和LONG RAW 数据同步前准备：Oracle环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在Oracle侧进行数据同步环境准备，以便在DataWorks上进行Oracle数据同步任务配置与执行时服务正常。...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
RDS MySQL修改字符集（平滑方案）
因此您需要在执行数据迁移前评估源实例和目标实例的性能，同时建议您在业务低峰期执行数据迁移。如果源实例的待迁移对象没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标实例中出现重复数据。步骤一 将源实例中表的结构导入至新...
使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
从自建SQL Server增量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
任务运行诊断
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、任务执行资源组所剩资源等。本文为您介绍如何使用运行诊断功能快速定位任务未运行成功...
授权与回收数据源权限
执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 确定，完成数据源权限的授权。回收数据源权限 在 数据源权限 页面，单击需要回收数据源权限所在行 操作 列...
查询流程和执行计划
上图是一个典型分组聚合查询的处理流程，AnalyticDB MySQL版 的Controller节点会把查询的逻辑执行计划（Plan）分片下发到执行计划任务的各个节点上，其中：Stage 2由4个Task组成，并行执行数据的扫描、过滤以及局部聚合等操作。Stage 1由2...
- 产品推荐
- 这些文档可能帮助您