问答 2022-08-16 来自:开发者社区

DataWorks 数据集成的实时数据同步功能是怎样的?

DataWorks 数据集成的实时数据同步功能是怎样的?

问答 2022-08-04 来自:开发者社区

数据集成:holo数据同步至redis。 redis必须是集群模式?

数据集成:holo数据同步至redis。 redis必须是集群模式?

问答 2022-07-19 来自:开发者社区

我将maxcomputer的数据同步到mysql是通过数据集成吧,我同步任务成功了,但是mysql里

我将maxcomputer的数据同步到mysql是通过数据集成吧,我同步任务成功了,但是mysql里没数是怎么回事

文章 2022-02-11 来自:开发者社区

数据集成模块中如何配置FTP数据同步

作者:终古1 组件说明读取远程FTP文件系统数据。通过FTP、FTPS或者SFTP协议连接远程FTP文件系统,创建远程文件输入流进行数据拉取。2 原理说明远程FTP文件本身是无结构化数据存储,扫描远程FTP目录下的所有文件获取待读取的文件列表,根据不同的文件类型使用不同的读取方式,目前支持功能如下:支持标准csv文件和纯文本文件支持多种类型数据读取(使用String表示),支持列裁剪支持递归读取....

数据集成模块中如何配置FTP数据同步
文章 2022-01-14 来自:开发者社区

数据集成模块中如何配置Mongo DB数据同步(2)

作者:终古1 组件简介MongoDB是面向文档的NoSQL(非关系型)数据库,它的数据结构由字段(Field)和值(Value)组成,类似于JSON对象。数据集成的MongoDB输出组件提供了写入MongoDB数据库的能力。本文重点介绍如何配置加载策略2 组件配置介绍如上图所以,MongoDB输入组件需要以下配置信息:数据源、表、更新信息、字段分隔符、输出字段及映射关系。数据源数据源信息在dat....

数据集成模块中如何配置Mongo DB数据同步(2)
文章 2022-01-14 来自:开发者社区

数据集成模块中如何配置Mongo DB数据同步(1)

作者:终古1 组件简介MongoDB是面向文档的NoSQL(非关系型)数据库,它的数据结构由字段(Field)和值(Value)组成,类似于JSON对象。Mongodb输入组件提供了从MongoDB数据库中全量和增量两种读取方式,并且能够对数据自动进行数据分片,从而可以并发的高校读取数据。2 组件配置介绍如上图所以,MongoDB输入组件需要以下配置信息:数据源、表、输入过滤、输出字段。数据源 ....

数据集成模块中如何配置Mongo DB数据同步(1)
文章 2020-09-07 来自:开发者社区

阿里云Dataworks数据集成工具实现:OTS -> Maxcompute数据同步

Step By Step 1、配置数据源 + 测试连通性 1.1 Table Store(OTS)参数获取 1.2、AccessKey、AccessSecret获取阿里云常见参数获取位置 1.3 Dataworks数据集成配置OTS数据源 1.4 Maxcompute数据源配置 2、源数据准备及目标表创建 2.1 OTS 源数据表 2.2 odps数据表创建 CREATE TAB...

阿里云Dataworks数据集成工具实现:OTS -> Maxcompute数据同步
文章 2020-06-12 来自:开发者社区

DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?

数据集成目前支持在同步时使用部分简单函数进行数据转换,例如将mysql时间戳类型转换为datetime类型。操作步骤:1.在mysql端创建表并插入时间戳类型数据 2.odps端创建相应表结构的表。(字段类型为datatime)3.配置同步任务并使用函数进行转换(使用from_unixtimerom_unixtime将时间戳转换为datetime后同步到odps表中)具体为 from_u...

DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?
文章 2020-01-10 来自:开发者社区

全域数据集成,为数据同步插上翅膀

对于经常从事数据开发工作的同学而言,阿里巴巴大数据研发平台Dataworks应该都比较熟悉,作为集大数据设计开发、运维监控、数据安全、数据质量管理,以及数据应用构建等全方位能力为一体的的一站式数据研发生态平台,Dataworks极大提升了数据开发工作的效率。而数据集成作为Dataworks生态系统内的子系统,为大数据综合治理解决方案提供底层数据链路支持,以其稳定高效、弹性可扩展的数据同步能力,目....

全域数据集成,为数据同步插上翅膀
文章 2019-03-28 来自:开发者社区

数据集成同步到mysql~小数点后面数据同步不过来

Q:数据集成同步任务时候,用会出现这样一种现象:odps 表里的数据是 11490877.44 ,mysql数据源目标表字段类型float(16,2) 同步过来是11490877小数点后面数据没有同步过来。 A:具体的原因是:mysql的float数据类型无法精确表示浮点数,可将mysql的数据类型改成decimal型。在mysql数据库实验,如下图: float类型: decima...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐