[帮助文档] 使用DataWorks或MaxCompute集成物联网平台数据

物联网平台数据服务中的平台系统表、产品属性时序表、产品属性快照表、产品事件表和自定义存储表等数据,通过大数据开发治理平台DataWorks集成到云原生大数据计算服务MaxCompute中构建数据仓库,以提升数据应用效率。

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——5. 提交执行任务

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——5. 提交执行任务

5. 提交执行任务1) 提交任务任务配置已经完成,此时可以依次点击保存和提交按钮将同步任务发不到生产环境运行。 2) 版本管理点击右侧版本按钮可以进行版本查看、对比、回滚等操作。 3) 任务运维进入 DataWorks 运维中心(工作流)->周期任务运维->周期任务页面可以找到刚才提交发...

dataworks数据集成离线同步odps表至mysql、odps表分区配置自定义参数怎么一直获取?

问题1:dataworks数据集成离线同步odps表至mysql、odps表分区配置自定义参数怎么一直获取不到? 问题2:数据来源中配置分区信息是${yesterday}、调度参数中配的是yesterday=${yyyy-mm-dd}、提交运行显示illegal repetition near in...

请问,离线数据集成的时候,支持使用dataworks函数吗,比如原字段create_time?

请问,离线数据集成的时候,支持使用dataworks函数吗,比如原字段create_time,我能新增一个date(create_time)吗,这样把数据在采集的时候就清洗好

DataWorks中离线同步里datax可以通过写sql来完成数据同步吗?

DataWorks中离线同步里datax可以通过写sql来完成数据同步吗?

MaxCompute数据集成 离线同步向导模式是不是不支持把源头表字段作为分区值传入?

您好我想请教下,MaxCompute数据集成 离线同步向导模式是不是不支持把源头表字段作为分区值传入?我想实现把一个表从odps离线同步到rds,数据来源表中有个分区,想把分区维度作为值传入

配置PG数据源,数据集成资源和任务调度资源都可以连通,配置离线同步任务时数据预览也没问题,执行离线同

配置PG数据源,数据集成资源和任务调度资源都可以连通,配置离线同步任务时数据预览也没问题,执行离线同步时会报数据源配置出错

DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务?

DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务?

如何使用dataworks数据集成的离线同步功能?

麻烦问下我们现在使用dataworks数据集成的离线同步功能,从mysql向maxcompute同步数据,使用id作为分片键,但是发现离线同步时拉取数据的batchsize过大,比如 "(1

异构数据源离线同步工具之DataX的安装部署

异构数据源离线同步工具之DataX的安装部署

一、DataX概述1、什么是DataXDataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle,DB2 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。在阿里巴巴集团内被广泛使用的离线数据同步工具D...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2701+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载

数据集成 Data Integration离线相关内容