云原生大数据计算服务 MaxCompute sql优化

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(7)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(6) https://developer.aliyun.com/article/1247144?groupCode=taobaotech解决步骤 skewjoin看到JOIN节点运行缓慢，第一反应是数据倾斜，通过对淘宝天猫订单表按照商品维度汇总统计也可以印证存在热销商品的情况。于是毫不犹豫使用了ODPS的skewjoin hint....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(8)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(7) https://developer.aliyun.com/article/1247143?groupCode=taobaotech数据字段类型检查检查字段发现订单表中item_id是bigint，但是sku属性和商品属性中的item_id存储成了string。最终尝试关联的时候都强制转换成string再观察，发现在资源充足的....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(9)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(8) https://developer.aliyun.com/article/1247141?groupCode=taobaotech解决步骤参数调优：增加map、reduce个数，执行效率没有明显的提升。分桶：测试使用hash clustering解决group/join缓慢的问题。1、创建测试表 create table t....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(10)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(9) https://developer.aliyun.com/article/1247140?groupCode=taobaotech优化总结通过CREATE TABLE或者ALTER TABLE语句，指定一个或者多个Cluster列，通过哈希方法，把数据存储分散到若干个桶里面，类似于这样：CREATE TABLE T (C1 ....

文章 2022-09-09 来自：开发者社区

ODPS SQL优化总结

背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(Green plum)，到Hadoop(Hive、Tez、Sprak)，再到批流一体Flink/Blink、数据湖等，SQL都是其主流的数据处理工具。海量数据下的高效数据流转，是数据同学必须直面的一个挑战。本文结合阿里自研的ODPS平台，从自身工作出发，总结SQL的一....