问答 2023-08-20 来自:开发者社区

你好 通过DataWorks数据集成把A账号的MySQL的数据实时同步到B账号的Hologres,?

你好 通过DataWorks数据集成把A账号的MySQL的数据实时同步到B账号的Hologres,两个账号之间需要配置CEN或者VPC Peering连接吗?MySQL和Hologres在同一个region,不同的阿里云账号 ?

问答 2023-08-20 来自:开发者社区

通过DataWorks数据集成把A账号的MySQL的数据实时同步到B账号的Hologres,两个?

通过DataWorks数据集成把A账号的MySQL的数据实时同步到B账号的Hologres,两个账号之间需要配置CEN或者VPC Peering连接吗?

问答 2023-08-20 来自:开发者社区

请问下DataWorks这数据集成新版本更新些啥东西?怎么这么难用!!为啥我现在新增个实时同步表,表

请问下DataWorks这数据集成新版本更新些啥东西?怎么这么难用!!为啥我现在新增个实时同步表,表都无法创建了?失败原因是这个DDL建表语句居然带有库名我拿出来在holo运行是正常的,但是我holo是标准模式,是有开发环境和生产环境之分的,应该是在开发环境没法建表

问答 2023-07-30 来自:开发者社区

DataWorks新加坡数据集成后台在16点左右有啥变更的么?

DataWorks新加坡数据集成后台在16点左右有啥变更的么?我这实时同步全部出现问题,查看日志说是表没权限,这些表都是数据集成自己建的表?这个表是我在holo的表,没权限了,这表是数据集成自己建的,怎么会出现自己建的表都没权限了,我们都没操作过,在16点的时候突然就全部出问题了

文章 2023-07-23 来自:开发者社区

开源数据集成平台SeaTunnel:MySQL实时同步到es

一、前言最近,项目有几个表要从 MySQL 实时同步到 另一个 MySQL,也有同步到 ElasticSearch 的。目前,公司生产环境同步,用的是 阿里云的 DTS,每个同步任务每月 500多元,有点小贵。其他环境:MySQL同步到ES,用的是 CloudCanal,不支持 数据转换,添加同步字段比较麻烦,社区版限制5个任务,不够用;MySQL同步到MySQL,用的是 debezium,不支....

开源数据集成平台SeaTunnel:MySQL实时同步到es
问答 2023-06-11 来自:开发者社区

求问DataWorks中数据集成实时同步出错 是为啥?源表是有主键的?

求问DataWorks中数据集成实时同步出错 The replica identity of tables you selected is not full 是为啥?源表是有主键的?

问答 2023-06-11 来自:开发者社区

从dataworks数据集成侧同步任务中新增postgresql一键实时同步到hologres后,?

问题1:从dataworks数据集成侧同步任务中新增postgresql一键实时同步到hologres后,postgresql wal日志有积压,这个如何处理?重新触发更新,日志还是往上增长 问题2:我先不操作,您说的重建是指的重新clone一个任务,再执行吗?也就是说12个小时以后才能看到堆积有没有下降是吧

问答 2023-05-28 来自:开发者社区

问下,用dataworks数据集成怎么同时支持实时同步和T+1的同步方式? 我看官方文档说delet

问下,用dataworks数据集成怎么同时支持实时同步和T+1的同步方式? 我看官方文档说delete的数据无法同步? 这个怎么解决呀 ?云下sql server 到mc

文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之4:1. 实时同步功能概述

二、实时与离线同步能力介绍1. 实时同步功能概述DataWorks 数据集成为您提供的实时数据同步功能,方便您使用单表同步或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中。 支持复杂网络环境下的数据同步,云数据库,本地或 ecs 自建数据库或非阿里云数据库等环境下的数据同步,在配置前,您需要确保独享数据集成资源组与您数据库网络已经连通,对应数据库环境与网络连通配置详情请....

带你读《全链路数据治理-全域数据集成》之4:1. 实时同步功能概述
文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之6:3. 实时同步场景与配置

3. 实时同步场景与配置1) 单表 ETL 实时同步l 将单个表或者 topic 内的数据同步到另外一个表中,整个流程支持图形化开发无需编写代码,单表实时同步至单表时,支持使用托拽的方式实现任务开发,业务新手也能够轻松上手。 l 单表增量数据实时同步场景下,您可以根据业务需求,对输入数据源进行数据过滤、字符串替换和数据脱敏处理后,再将数据输出至目标数据库。 Ø 数据过滤:可以对数据进行规则过滤,....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注