《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(上)

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(上)

4. 配置任务1) 创建同步任务在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。 选择 Hologres 整库全增量解决方案。、2) 选择表并刷新表映射l 左侧勾选源端需要同步的表 table_a_001、table_a_002、table_b_001、table_b_002...

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(下)

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(下)

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(上):https://developer.aliyun.com/article/12229644) 配置附加字段 分库表至 Hologres 最佳实践 可以看到表格中,附加字段列编辑按钮后有黄色感叹号标...

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——5. 任务运维

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——5. 任务运维

5. 任务运维1) 查看任务状态可以看到任务已经处于运行中状态,点击执行概况,可以进入任务运维页面。 查看结构迁移状态。 结构迁移表格数据说明: l 目标对接方式:自动建表使用已有表。l DDL 列:鼠标悬浮可以查看建表的 SQL 语句。 l 状态列值:执行中、成功、失败,如状态为失败,...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——1. 背景信息

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——1. 背景信息

六、分库分表至 MaxCompute 实践1. 背景信息1) 业务诉求MySQL 分库分表的场景下,上游的表和库非常多,都需要同时写入一张MaxCompute 表,如果要同时配置多个任务则会导致配置非常复杂且运维困难。 针对上诉痛点,阿里云 DataWorks 数据集成分库分表同步解决方案提供了面向...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——2. 使用限制

2. 使用限制1) 同步资源组:分库分表同步至 MaxCompute 需要使用 DataWorks 独享数据集成资源组2) 表数量上限:l 单数据源,源库支持的数量上限为 50。l 单数据源,源表支持的数量上限为 5000。l 单同步任务逻辑表数量上限为 3000。3) 跨时区同步限制:同步解决方案...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——3. 准备工作:添加数据源

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——3. 准备工作:添加数据源

3. 准备工作:添加数据源1) 新建 MySQL 数据源新建 MySQL 数据源,支持阿里云实例模式和连接串模式。 l 阿里云实例模式:适用于阿里云 RDS For MySQL。l 连接串模式:适用于自建、公网或本地 IDC 机房 MySQL。本文以阿里云 RDS for MySQL 为例,新建数据...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(上)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(上)

4. 任务配置 1) 创建同步任务在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。 选择分库分表实时同步至 MaxCompute 解决方案。 2) 配置同步网络连接在数据来源中选择多个数据源,作为分库分表解决方案的数据来源,点击各个数据来源可以收缩、展开。其中多个数据源必须保...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(中)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(中)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(上): https://developer.aliyun.com/article/12229396) 手动配置逻辑表在“自动生成逻辑表”与期望的匹配结果不符时,可以编辑逻辑表匹配规则,也可以通过“添加逻辑表...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(下)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(下)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(中):https://developer.aliyun.com/article/122293410) 表结构配置默认的表生命周期为 30 天,表示 MaxCompute 只保留最近 30 天的分区数据,单击...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——5. 任务运维

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——5. 任务运维

5. 任务运维1) 查看任务状态 提交执行后,单击“执行详情”可以看到执行阶段进度以及详细信息,每一个步骤的执行详情还会提供外链,直接查看或者运维执行步骤。 l 节点依赖关系 StreamxCheckDone:本节点负责检查实时同步位点,当实时同步位点已经超过本次运行的业务时间时。本节点会运行成功。...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载

数据集成 Data Integration全链路相关内容