《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——6. 离线同步功能概述

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——6. 离线同步功能概述

6. 离线同步功能概述离线(批量)的数据通道通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,实现任意结构化、半结构化数据源之间数据传输;支持单表...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——7. 使用权限

7. 使用权限DataWorks 的离线同步暂不支持跨时区同步数据。如果同步任务中同步的数据源与使用的 DataWorks 资源组不在同一个时区,则会导致同步的数据有误。

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——8. 离线调度

8. 离线调度 离线同步依托 DataWorks 强大的调度能力,可为您实现离线任务的周期性自动调度执行;结合 DataWorks 调度参数,可实现增量数据和全量数据写入到目标表对应分区;调度参数结合 DataWorks 补数据功能,可实现基于一套任务配置,批量将历史数据同步至目标数据库或数据仓库指...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

9. 离线同步场景与配置不同同步方式的区别:1) 向导模式:提供向导式的开发引导,通过可视化的填写和下一步的引导,助您快速完成数据同步任务的配置工作。向导模式的学习成本低,但无法支持部分高级功能。详情请参见通过向导模式配置任务。 2) 脚本模式:提供脚本式的开发引导,通过直接编写数据同步的 JSON...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——10. 离线同步附加能力

10. 离线同步附加能力1) 字段映射关系与赋值在同步任务配置过程中,您可通过字段映射,来定义源端字段与目标端字段的读取和写入关系,源端某字段数据将会根据字段映射关系写入目标端对应类型的字段中。 支持多种字段映射方式:向导模式默认同名映射、脚本模式默认脚标映射;向导模式支持同行映射;并支持自定义所有...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——1. 背景信息

四、离线同步至 MaxCompute 实践概述:DataWorks 数据集成是阿里云数据上云的核心枢纽,提供了功能丰富强大的一站式离线&实时数据同步能力,满足数据入仓入湖的需求。 本文将以 MySQL 离线同步写入离线数仓 MaxCompute 场景为例,为您介绍数据集成离线同步最佳实践。 ...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——2. 使用限制

2. 使用限制为保证同步资源能够独占稳定使用,对于生产级别同步任务建议使用数据集成独享资源组。

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——3. 准备工作:添加数据源

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——3. 准备工作:添加数据源

3. 准备工作:添加数据源1) 新建 MySQL 数据源新建 MySQL 数据源,支持阿里云实例模式和连接串模式。 l 阿里云实例模式:适用于阿里云 RDS For MySQL。 l 连接串模式:适用于自建、公网或本地 IDC 机房 MySQL。 本文以阿里云 RDS For MySQL 为例,新建...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——4. 配置任务

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——4. 配置任务

4. 配置任务1) 创建同步任务l 新建业务流程:进入 DataWorks DataStudio(数据开发)页面,选中已存在业务流程或新建业务流程。 l 创建离线同步节点:选中离线任务所属的业务流程,单击右键,新建“离线同步”节点。l 设置数据来源:设置数据源类型、数据源名称、待同步源...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2701+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载

数据集成 Data Integration离线相关内容