大数据开发治理平台 DataWorks maxcompute 的相关内容

文章 2020-09-07 来自：开发者社区

阿里云Dataworks数据集成工具实现：OTS -> Maxcompute数据同步

Step By Step 1、配置数据源 + 测试连通性 1.1 Table Store（OTS）参数获取 1.2、AccessKey、AccessSecret获取阿里云常见参数获取位置 1.3 Dataworks数据集成配置OTS数据源 1.4 Maxcompute数据源配置 2、源数据准备及目标表创建 2.1 OTS 源数据表 2.2 odps数据表创建 CREATE TAB...

问答 2020-08-31 来自：开发者社区

基于kettle的MaxCompute插件实现数据上云报错：写入odps报错

kettle部署配置Kettle MaxCompute插件aliyun-kettle-odps-plugin-2.0.4.tar.gz后，从源端达梦数据库DM6抽取数据写入odps项目空间报错ERROR:Stream Field size not equal to table field size ,如下图： kettle插件部署及操作说明参考文档： https://developer.ali.....

文章 2020-07-29 来自：开发者社区

Dataworks实时数据同步(Kafka -> maxcompute)

Step By Step 前提目前实时同步处于灰度阶段，如果您需要使用相关功能，请提交工单或者加入钉钉群：30002661 申请开通。创建Kafka实例建议创建：公网/VPC实例类型实例，且区域是和maxcompute在同一个区域。在实例下面：创建Topic和Consumer Group。创建数据集成资源组配置实时数据同步任务提交到运维中心启动实时同步任务 Kafka发送消息...

文章 2020-07-23 来自：开发者社区

MaxCompute/Dataworks云数仓高可用最佳实践

学习工具通过MaxCompute官方文档和DataWorks官方文档了解相关产品的最新功能和使用方式MaxCompute官方文档：MaxCompute官方文档DataWorks官方文档：DataWorks官方文档一、logview排查作业在日常的开发过程中我们偶尔会发现某些任务突然耗时比较长，或者某些任务突然挂掉需要排查原因。Logview将用来协助我们完成这件事情。Logview是MaxCom....

文章 2020-07-16 来自：开发者社区

DataWorks百问百答42：如何自动同步IoT系统新生成文件至MaxCompute？

背景：物联网（The Internet of Things，简称IOT）是指通过各种信息传感器等各种装置与技术，实时采集任何需要的各种信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。其是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。物联网、大数据和云计算作为当前第三次信息化浪潮的代表技术，....

文章 2020-07-03 来自：开发者社区

DataWorks百问百答37：DataWorks-MaxCompute权限体系有哪些混淆点？

背景 DataWorks是大数据引擎上层的一个数据开发、生产、治理平台，有自己一套完善的权限体系，但由于下层对接的引擎较多（MaxCompute、EMR、Blink等），因此用户常常对DataWorks权限、引擎权限产生混淆。常见问题集锦 DataWorks开发角色好像可以读写所有表，这岂不是很危险？ [工作空间管理-权限列表]中的权限和引擎权限...

问答 2020-06-23 来自：开发者社区

MaxCompute （原odps）的表的数据类型升级要怎么使用？想要使用varchar类型。

使用了如下命令后，在DataStudio中创建表，还是不能使用varchar类型 from odps import ODPS,options options.sql.type.system.odps2 = True 报错：要使用命令：set odps.sql.type.system.odps2=true 但是这个命令要在哪里使用，翻了好多文档都找不到这个

问答 2020-06-04 来自：开发者社区