文章 2017-12-08 来自:开发者社区

MaxCompute/DataWorks 数据集成与开发实践

摘要:在2017杭州云栖大会阿里云数加DataWorks专场上,阿里云产品专家代俊峰(花名:普阳)为大家分享了如何借助阿里云数加DataWorks工具进行数据集成和开发,分享了如何借助DataWorks实现从数据处理手工作坊到数据加工工厂的跨越转变。   本文内容根据嘉宾演讲视频以及PPT整理而成。   从整体的角度来看,数据的开发主要包括以下五个环节: 1. &nb...

问答 2017-10-23 来自:开发者社区

MaxCompute用户指南:数据上传下载:通过数据集成导入/导出

您可以通过大数据开发套件中的 数据集成 创建数据同步任务,对 MaxCompute 中的数据进行导入和导出操作。 前置条件 在开始数据的导入和导出操作前,您需要根据 准备阿里云账号和 购买并创建项目 中的操作,做好准备工作。 添加 MaxCompute 数据源 注意: 只有项目管理员角色才能够新建数据源,其他角色的成员仅能查看数据源。若需要添加的数据源是当前 Ma...

问答 2017-06-26 来自:开发者社区

maxcompute 数据集成: insert overwrite , 1.如果发生了覆盖,会将其他分区的记录干掉吗? 2.发生覆盖的条件是什么? 所有字段相同,还是主键相同??

maxcompute 数据集成: insert overwrite ,1.如果发生了覆盖,会将其他分区的记录干掉吗?2.发生覆盖的条件是什么? 所有字段相同,还是主键相同??

文章 2017-06-15 来自:开发者社区

大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute

在大数据开发套件中是可以实现mongo同步到Maxcompute。 数据集成文档:https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I后端是通过华东1区的调度资源进行数据的调度传输。但是如果阿里云mongo不在华东1在其他区域,使用默认资源组就不能正常同步了。那么就需要用户通过自己添加调度....

大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute
文章 2017-06-09 来自:开发者社区

大数据开发套件-数据集成-云mongo跨区域同步到Maxcompute

在大数据开发套件中是可以实现mongo同步到Maxcompute。 数据集成文档:https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I后端是通过华东1区的调度资源进行数据的调度传输。但是如果阿里云mongo不在华东1在其他区域,使用默认资源组就不能正常同步了。那么就需要用户通过自己添加调度....

问答 2017-06-09 来自:开发者社区

在使用大数据开发套件时,从maxcompute导入数据到rds,执行报错:经DataX智能分析,该任务最可能的错误原因是:

在使用大数据开发套件时,从maxcompute导入数据到rds,执行报错:经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表: data1 的字段的元信息时失败. 请联系 DB.....

文章 2017-06-06 来自:开发者社区

基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute

最近有朋友问,客户在香港ECS上搭建的MySQl,大概有100GB以上的数据,能否通过MaxCompute做海量数据分析,我的回答是YES! 但客户担心香港与大陆之间数据连通性问题,我的回答依然是YES! 为了让更多个客户不再困扰,笔者做了一份教程,可以通过大数据开发套件中的经典网络进行同步数据,有图为证! 准备工作 1、注册并开通阿里云账号、Access id、Access Key;开通方法.....

基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注