问答 2021-01-29 来自:开发者社区

rds使用dataWorks做数据同步,如何处理数据重复的问题

rds使用dataWorks做数据同步,如何处理数据重复的问题

文章 2020-09-07 来自:开发者社区

阿里云Dataworks数据集成工具实现:OTS -> Maxcompute数据同步

Step By Step 1、配置数据源 + 测试连通性 1.1 Table Store(OTS)参数获取 1.2、AccessKey、AccessSecret获取阿里云常见参数获取位置 1.3 Dataworks数据集成配置OTS数据源 1.4 Maxcompute数据源配置 2、源数据准备及目标表创建 2.1 OTS 源数据表 2.2 odps数据表创建 CREATE TAB...

阿里云Dataworks数据集成工具实现:OTS -> Maxcompute数据同步
文章 2020-07-29 来自:开发者社区

Dataworks实时数据同步(Kafka -> maxcompute)

Step By Step 前提 目前实时同步处于灰度阶段,如果您需要使用相关功能,请提交工单或者加入钉钉群:30002661 申请开通。 创建Kafka实例 建议创建:公网/VPC实例 类型实例,且区域是和maxcompute在同一个区域。 在实例下面:创建Topic和Consumer Group。 创建数据集成资源组 配置实时数据同步任务 提交到运维中心启动实时同步任务 Kafka发送消息...

Dataworks实时数据同步(Kafka -> maxcompute)
文章 2020-06-19 来自:开发者社区

DataWorks百问百答33:数据同步怎么配置ODPS分区?

同步任务可以支持ODPS的数据列、分区列、常量列,但_不支持函数列_  ODPS分区配置支持linux shell通配符,* 表示0个或多个字符,? 代表任意一个字符 默认情况下,读取的分区需要存在,如果分区不存在任务会报错。 如果您希望分区不存在时任务仍然成功,您可以转换为脚本模式,在odps的parameter端下面配置successOnNoPartition参数,即 "succes...

文章 2020-06-12 来自:开发者社区

DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?

数据集成目前支持在同步时使用部分简单函数进行数据转换,例如将mysql时间戳类型转换为datetime类型。操作步骤:1.在mysql端创建表并插入时间戳类型数据 2.odps端创建相应表结构的表。(字段类型为datatime)3.配置同步任务并使用函数进行转换(使用from_unixtimerom_unixtime将时间戳转换为datetime后同步到odps表中)具体为 from_u...

DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?
文章 2020-03-25 来自:开发者社区

DataWorks百问百答05:数据同步任务出现脏数据怎么办?

什么样的数据会判定为脏数据? 同步任务在任务运行过程中遇到插件的所有异常都会作为脏数据进行统计。 数据类型转换(源端表和目的表字段类型不匹配,大概率) 源端表数据过长 数据源异常 Reader/Writer插件异常 数据中有表情符 我该如何排查? 同步任务出现报错:脏数据条数检查不通过,限制是[0]条,但实际上捕获了[141]条。 【解决方法一】 增大脏数据限制条数,扩大阈值,容忍脏数据...

问答 2020-03-09 来自:开发者社区

【每日一题】DataWorks-数据同步该用什么资源组?

【每日一题】DataWorks-数据同步该用什么资源组? 很多用户在使用数据集成建立同步任务时,往往都会困惑一个设置,即“资源组设置”。 大家常有的疑问是“资源组是用来做什么的?跟网络之间什么关系?我该选择那种资源组?”

文章 2020-03-09 来自:开发者社区

DataWorks百问百答01:数据同步该用什么资源组?

引子 很多用户在使用数据集成建立同步任务时,往往都会困惑一个设置,即“资源组设置”。大家常有的疑问是“资源组是用来做什么的?跟网络之间什么关系?我该选择那种资源组?”下面本文给您一个简要的介绍。 什么是资源组 资源组是数据集成用来运行数据同步任务的计算资源,可以通俗的理解为“带有CPU、内存和网络的计算机或计算机集群”。同步任务就是运行在上面的“程序”。所以如果机器性能低或者运行的程序过多,...

文章 2019-11-01 来自:开发者社区

【最佳实践】如何运用DataWorks数据同步功能,将Hadoop数据同步到阿里云Elasticsearch上

简介: 本文向您详细介绍如何通过DataWorks数据同步功能,将Hadoop数据同步到阿里云Elasticsearch上,并进行搜索分析。 本文字数:2673阅读时间:预计10分钟 目录 背景信息 环境准备数据准备数据同步结果验证数据搜索与分析 以下是正文 背景信息 您也可以使用Java代码进行同步,具体请参考通过ES-Hadoop将Hadoop数据写入阿里云Elasticsearch和...

问答 2019-04-28 来自:开发者社区

Dataworks数据同步表错误->讯息:Error

在使用dataworks v2.0产品的数据同步功能时出现的错误,数据源是阿里云RDS。因为其他类似的表同步时没有问题,所以无法提供错误复现的步骤。有没有其他同学遇到过这样的问题?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。