《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——7. 使用权限

7. 使用权限DataWorks 的离线同步暂不支持跨时区同步数据。如果同步任务中同步的数据源与使用的 DataWorks 资源组不在同一个时区,则会导致同步的数据有误。

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——8. 离线调度

8. 离线调度 离线同步依托 DataWorks 强大的调度能力,可为您实现离线任务的周期性自动调度执行;结合 DataWorks 调度参数,可实现增量数据和全量数据写入到目标表对应分区;调度参数结合 DataWorks 补数据功能,可实现基于一套任务配置,批量将历史数据同步至目标数据库或数据仓库指...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

9. 离线同步场景与配置不同同步方式的区别:1) 向导模式:提供向导式的开发引导,通过可视化的填写和下一步的引导,助您快速完成数据同步任务的配置工作。向导模式的学习成本低,但无法支持部分高级功能。详情请参见通过向导模式配置任务。 2) 脚本模式:提供脚本式的开发引导,通过直接编写数据同步的 JSON...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——10. 离线同步附加能力

10. 离线同步附加能力1) 字段映射关系与赋值在同步任务配置过程中,您可通过字段映射,来定义源端字段与目标端字段的读取和写入关系,源端某字段数据将会根据字段映射关系写入目标端对应类型的字段中。 支持多种字段映射方式:向导模式默认同名映射、脚本模式默认脚标映射;向导模式支持同行映射;并支持自定义所有...

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——1. 背景信息

三、数据同步网络连通实践1. 背景信息在做数据同步时,网络打通是一大难题,通过本篇文章您将了解,数据库在不同网络环境中时,可选用的网络连通方案,将数据同步源端、目标端、与 DataWorks 数据集成资源组打通,更快完成后续的数据同步工作。

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——2. 网络连通原理介绍

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——2. 网络连通原理介绍

2. 网络连通原理介绍DataWorks 使用集成资源组(同步机器)来进行数据同步,数据同步前,您需要保障数据集成资源组(同步机器)与数据库的网络连通性,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——3. 独享数据集成资源组介绍

3. 独享数据集成资源组介绍1) 资源属性DataWorks 平台托管型资源,购买后您可独占使用这些资源,详情请参见新增和使用独享数据集成资源组。 2) 使用场景l 实时同步、离线同步、同步解决方案场景。 l 当您需要通过内网访问其他网络环境,需要与其他网络环境下的数据库进行网络连通,您可以选择独享...

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——4. 网络连通解决方案概览

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——4. 网络连通解决方案概览

4. 网络连通解决方案概览1) 使用限制使用独享数据集成资源组时:可以与在公网、VPC(内网)网络环境中的数据源进行跨 Region、跨 IDC、跨云厂商之间的网络连通,无法与经典网络中的数据源连通。 2) 方案选型

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——5. 场景(上)

《全链路数据治理-全域数据集成》——三、数据同步网络连通实践——5. 场景(上)

5. 场景场景一:通过公网访问数据库1) 网络连通方案直接连接。 2) 网络连通配置操作指导以使用阿里云 RDS 数据库为例,网络连通配置如下。 l 其中,独享数据集成资源组的详情请参见新增和使用独享数据集成资源组。 l 获取 RDS 的专有网络信息,详情请参见切换专有网络 VPC 和虚拟交换机。 ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载