云原生大数据计算服务 MaxCompute优化的相关内容

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(3)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(2) https://developer.aliyun.com/article/1247149?groupCode=taobaotech 窗口函数的使用可以通过 row_number()/rank() over(partition by order by )的方式实现数据按照某个字段分组的排序，也可以通过 max(struct()....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(4)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(3) https://developer.aliyun.com/article/1247147?groupCode=taobaotech常用的参数设置常用的调整无外乎调整map、join、reduce的个数，map、join、reduce的内存大小。本文以ODPS的参数设置为例，参数可能因版本不同而略有差异。 Map设置set o....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(5)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(4) https://developer.aliyun.com/article/1247146?groupCode=taobaotechReduce设置set odps.sql.reducer.instances=-1作用: 设定Reduce Task的Instance数量，手动设置区间在[1,99999]之间调整。不走HBO优化....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(6)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(5) https://developer.aliyun.com/article/1247145?groupCode=taobaotech UDF相关参数set odps.sql.udf.jvm.memory=1024作用: 设定UDF JVM Heap使用的最大内存，单位M，默认1024M，在[256，12288]之间调整。场景：....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(7)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(6) https://developer.aliyun.com/article/1247144?groupCode=taobaotech解决步骤 skewjoin看到JOIN节点运行缓慢，第一反应是数据倾斜，通过对淘宝天猫订单表按照商品维度汇总统计也可以印证存在热销商品的情况。于是毫不犹豫使用了ODPS的skewjoin hint....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(8)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(7) https://developer.aliyun.com/article/1247143?groupCode=taobaotech数据字段类型检查检查字段发现订单表中item_id是bigint，但是sku属性和商品属性中的item_id存储成了string。最终尝试关联的时候都强制转换成string再观察，发现在资源充足的....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(9)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(8) https://developer.aliyun.com/article/1247141?groupCode=taobaotech解决步骤参数调优：增加map、reduce个数，执行效率没有明显的提升。分桶：测试使用hash clustering解决group/join缓慢的问题。1、创建测试表 create table t....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(10)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(9) https://developer.aliyun.com/article/1247140?groupCode=taobaotech优化总结通过CREATE TABLE或者ALTER TABLE语句，指定一个或者多个Cluster列，通过哈希方法，把数据存储分散到若干个桶里面，类似于这样：CREATE TABLE T (C1 ....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(11)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(10) https://developer.aliyun.com/article/1247139?groupCode=taobaotechSQL优化案例三：结合业务具体场景给出合理的SQL优化方案背景还是上面案例二的例子，DWS层存储了淘宝天猫用户天增量粒度的用户与商品交互行为轻度汇总数据(浏览、收藏、加购、下单、交易等等)，基于....