大数据开发治理平台 DataWorks maxcompute 的相关内容

文章 2020-03-09 来自：开发者社区

MaxCompute - ODPS重装上阵第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxC....

文章 2020-02-20 来自：开发者社区

使用Dataworks同步Elasticsearch至MaxCompute 日期类型为\N的解决办法

问题背景：如果ES的数据存在日期类型，并且ES的日期类型本身没有dateFormat的话，同步到MaxCompute默认是空值。如图：解决办法：需要在elasticsearch Reader中增加dateFormat属性，格式和要同步的ES日期格式一致就可以了。如： { "type": "job", "steps": [ { "s...

文章 2020-01-14 来自：开发者社区

MaxCompute - ODPS重装上阵　第八弹 - 动态类型函数

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max....

文章 2019-12-31 来自：开发者社区

MaxCompute - ODPS重装上阵　第七弹 - Grouping Set, Cube and Rollup

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max....

文章 2019-12-26 来自：开发者社区

MaxCompute与DataWorks权限介绍和示例

背景：用户在使用MaxCompute与DataWorks这两种权限模型不清楚，并且对于相关MaxCompute的权限执行语句也不太熟悉，以至于在自己的实际操作中不能建立完整的权限策略，导致权限控制的混乱，甚至在开发过程中时常遇到权限问题的错误，导致延误业务的推动进展，该篇文档集主要的权限知识点与一体，常用的MaxCompute权限语句，以及经典的开发环境和生产环境之间的赋权示例给大家做出做出介绍....

文章 2019-12-13 来自：开发者社区

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max....

文章 2019-11-22 来自：开发者社区

如何使用DataWorks--HoloStudio联合查询实时(Blink)、离线(MaxCompute)数据。

离线大数据场景主要基于MaxCompute进行批量数据分析，实时数据场景主要是依靠实时计算做初步的数据清洗再对接数据库来完成数据的实时分析需求。但随着业务精细化运营的加深以及大促的常态化，单一的数据场景并不能满足业务的需求，而实时离线联合使用的场景诉求变得越来越多。例如双11大促当天快结束时，某手机店铺需要冲击一下销量，运营通过对实时数据分析发现当前店铺的加购率高但是转化不行，为了提高转化率，想....

文章 2019-07-09 来自：开发者社区

maxCompute（ODPS）问题排查思路

1.如果自己不小心手动删除数据无法提供恢复，如果是普通表，是没法恢复数据的。外部表可以配置到OSS上面，数据不会删除。2.用户删除行为，所有的副本也会删除的。如果是产品故障导致丢失，一般所有副本丢失的可能性并不大（可以提工单咨询）。 3.UDF由于沙箱限制，不支持请求外部链接4.不能实现的函数全部建议UDF5.客户端乱码的换考虑将use_instance_tunnel改为false6.pyodp....

文章 2019-04-28 来自：开发者社区

基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

前言　　就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大数据其实是个非常笼统的感念，它是由数据仓库演化而来的数据与技术方法论，那么我们先说一下数据仓库的由来：　　早在....

文章 2019-04-01 来自：开发者社区