文章 2022-06-12 来自:开发者社区

阿里云 DataWorks v2.0 常见问题与难点解析整理

一、依赖关系配置依赖关系原理概述三种依赖配置方式“自动解析”配置依赖关系:推荐使用手动配置依赖关系“自动推荐”配置依赖关系1.1 依赖关系原理概述可扩展性差,缺乏解耦重跑任务的成本太高输出名称每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。【原则】每个节点必须配置至少一个本节点输出名称、一个父节点输出名称每个输出点必须在同....

阿里云 DataWorks v2.0 常见问题与难点解析整理
文章 2022-06-12 来自:开发者社区

阿里云大数据ACP(一)大数据开发平台 DataWorks 2

六、DataWorks 数据开发6.1 数据开发总览四种运行方式:数据开发模块中除了组织管理员权限外,其余角色包括:项目管理员、开发、运维、部署和访客。6.2 任务开发6.3 任务类型6.4 脚本开发6.5 函数管理6.6 发布管理6.7 导入本地文件七、DataWorks 调度配置7.1 调度周期配置7.2 调度参数配置7.3 DataWorks 中的参数功能调度参数获取7.4 调度依赖关系7....

阿里云大数据ACP(一)大数据开发平台 DataWorks 2
文章 2022-06-12 来自:开发者社区

阿里云大数据ACP(一)大数据开发平台 DataWorks 1

文章目录一、DataWorks 简介1.1 DataWorks 的功能概述1.2 DataWorks 产品特点1.3 DataWorks 产品优势1.4 应用场景 (助力企业搭建大数据信息平台)二、DataWorks 基本概念2.1 组织与项目空间2.2 任务(Task)2.3 工作流、节点、依赖关系2.4 任务(Task)类别2.5 实例(Instance)2.6 资源与函数三、DataWor....

阿里云大数据ACP(一)大数据开发平台 DataWorks 1
问答 2022-05-09 来自:开发者社区

负责阿里云的 Dataworks 中的两大件是什么?

负责阿里云的 Dataworks 中的两大件是什么?

文章 2022-02-17 来自:开发者社区

实时计算轻松上手,阿里云DataWorks Stream Studio正式发布

Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。Str....

问答 2022-01-06 来自:开发者社区

阿里云Dataworks数据权限访问控制

阿里云Dataworks如果数据引擎选择E-MapReduce,购买MapReduce集群的时候没有选择购买ranger组件,数据权限的访问控制还能生效吗?

文章 2021-12-28 来自:开发者社区

阿里云DataWorks通过首批中国信通院数据开发平台与数据分类分级工具评测

近日,中国信通院正式公布了第十三批大数据产品能力评测结果,阿里云DataWorks成为首批通过了“数据开发平台”和"数据分类分级工具"两项基础能力专项评测的产品。在数据开发平台的评测中,中国信通院认为数据开发工作是推动各领域大数据应用落地的必要环节,是将数据生产要素转化成社会生产力的关键过程。通过在开发技术模块之上提供一个统一的抽象层,很好地屏蔽了开发任务的技术细节,极大地降低了开发门槛,并且底....

阿里云DataWorks通过首批中国信通院数据开发平台与数据分类分级工具评测
问答 2021-12-09 来自:开发者社区

基于阿里云搭建数据仓库的DataWorks是什么?

基于阿里云搭建数据仓库的DataWorks是什么?

文章 2021-10-26 来自:开发者社区

治理企业“数据悬河”,阿里云DataWorks全链路数据治理新品发布

10月19日,在2021年云栖大会上,阿里云重磅发布DataWorks全链路数据治理产品体系,基于数据仓库,数据湖、湖仓一体等多种大数据架构,DataWorks帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。阿里巴巴集团副总裁 阿里云智能计算平台事业部高级研究员贾扬清现场分享“当数据量变得越来越大,单位数据的价值会变得越来越小,全链路数据治理让数据从低质低效向高质高效流动。”阿里巴....

治理企业“数据悬河”,阿里云DataWorks全链路数据治理新品发布
文章 2021-08-24 来自:开发者社区

阿里云 DataWorks数据集成 的开源版本DataX

DataXDataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。DataX 商....

阿里云 DataWorks数据集成 的开源版本DataX

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注