《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——3. 实时同步场景与配置

3. 实时同步场景与配置1) 单表 ETL 实时同步l 将单个表或者 topic 内的数据同步到另外一个表中,整个流程支持图形化开发无需编写代码,单表实时同步至单表时,支持使用托拽的方式实现任务开发,业务新手也能够轻松上手。 l 单表增量数据实时同步场景下,您可以根据业务需求,对输入数据源进行数据过...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——4. 实时同步附加能力

4. 实时同步附加能力1) 监控报警配置l 支持对业务延迟、Failover、DDL 策略、心跳检查设置监控报警。 l 支持通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人,方便您及时发现并处理任务异常。 l 支持报警疲劳度控制。为了避免短时间内产生大量报警,DataWorks 支持您设置...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——6. 离线同步功能概述

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——6. 离线同步功能概述

6. 离线同步功能概述离线(批量)的数据通道通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,实现任意结构化、半结构化数据源之间数据传输;支持单表...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——7. 使用权限

7. 使用权限DataWorks 的离线同步暂不支持跨时区同步数据。如果同步任务中同步的数据源与使用的 DataWorks 资源组不在同一个时区,则会导致同步的数据有误。

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——8. 离线调度

8. 离线调度 离线同步依托 DataWorks 强大的调度能力,可为您实现离线任务的周期性自动调度执行;结合 DataWorks 调度参数,可实现增量数据和全量数据写入到目标表对应分区;调度参数结合 DataWorks 补数据功能,可实现基于一套任务配置,批量将历史数据同步至目标数据库或数据仓库指...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——9. 离线同步场景与配置

9. 离线同步场景与配置不同同步方式的区别:1) 向导模式:提供向导式的开发引导,通过可视化的填写和下一步的引导,助您快速完成数据同步任务的配置工作。向导模式的学习成本低,但无法支持部分高级功能。详情请参见通过向导模式配置任务。 2) 脚本模式:提供脚本式的开发引导,通过直接编写数据同步的 JSON...

《全链路数据治理-全域数据集成》——二、实时与离线同步能力介绍——10. 离线同步附加能力

10. 离线同步附加能力1) 字段映射关系与赋值在同步任务配置过程中,您可通过字段映射,来定义源端字段与目标端字段的读取和写入关系,源端某字段数据将会根据字段映射关系写入目标端对应类型的字段中。 支持多种字段映射方式:向导模式默认同名映射、脚本模式默认脚标映射;向导模式支持同行映射;并支持自定义所有...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——1. 背景信息

四、离线同步至 MaxCompute 实践概述:DataWorks 数据集成是阿里云数据上云的核心枢纽,提供了功能丰富强大的一站式离线&实时数据同步能力,满足数据入仓入湖的需求。 本文将以 MySQL 离线同步写入离线数仓 MaxCompute 场景为例,为您介绍数据集成离线同步最佳实践。 ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载

数据集成 Data Integration离线相关内容