[帮助文档] DataWorks数据集成实时同步字段的格式及附加列

本文为您介绍数据集成实时同步字段的格式及附加列。

[帮助文档] 获取当前时间写入到目标表,运行成功后,查询该字段显示为空

问题描述Dataphin数据集成新建字段,获取当前时间将时间写入到目标表,任务运行成功后,查询目标表该字段数据显示为空。问题原因Dataphin仅支持MaxCompute 1.0 的数据类型,目标字段的数据类型是DATE不支持。解决方案将目标字段类型切换为DATETIME类型即可。适用于Dataph...

[帮助文档] Dataphin管道任务将Oracle数据集成到MaxCompute时,运行报错:"java.lang.NullPointerException:null、[DlinkTrans-字段计算_1]ERRORDlinkTaskPluginCollector-脏数据"

问题描述配置管道任务将Oracle数据库集成到MaxCompute数据库,使用“字段计算”组件中MD5函数将字段CUST_NO进行加密之后,任务运行报空指针和脏数据的错误,具体异常堆栈信息如下:2021-09-07 17:40:10.446 [0-0-0-reader] INFO  Com...

数据集成模块转换组件之字段选择介绍

数据集成模块转换组件之字段选择介绍

作者:坚乃在数据集成的过程中,在一些场景下,需要选择哪些字段进行数据集成,字段选择组件可用于对上游字段进行字段筛选、重命名、调整字段顺序,本文将介绍如何进行字段选择组件的配置。1 组件说明对上游字段进行字段筛选、重命名、调整字段顺序。2 原理说明根据字段选择组件的配置对上游的数据根据字段名进行过滤、...

数据集成模块转换组件之字段计算介绍

数据集成模块转换组件之字段计算介绍

作者:坚乃在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。1 组件说明用于增加自定义字段。2 原理说明系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。3 ...

[帮助文档] 数据集成任务如何处理来源表字段中的空格

问题描述Dataphin配置集成任务,当来源表字段中的数据存在空格时会同步失败。2021-09-26 11:04:50.998 [0-0-0-reader] ERROR DlinkTaskPluginCollector - 脏数据:  {"message":"类型转换错误, 无法将[ &n...

[帮助文档] Dataphin数据集成输入和输出字段间无法建立映射关系

产品名称Dataphin产品模块数据集成概述提供数据集成中输入表字段和输出表字段映射不上问题的排查思路问题描述管道集成时,字段映射有问题,有些字段可以映射上、有些映射不上,不管是同名映射还是同行映射都会出现:问题原因表字段名中有空格或者字段名称太长超出数据库限制范围导致。解决方案注意排查字段中是否有...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载