云原生大数据计算服务 MaxCompute优化的相关内容

文章 2022-12-11 来自：开发者社区

记一次Mysql大数据分页优化问题

一般分页用的是limit当数据量比较大的时候比如select * from u_user limit 10000000,10这样查询就会奇慢无比，因为mysql会查询前面一百万+10条数据之后再丢弃前面一百万条数据返回最后10条数据；怎么优化呢？优化方式很多，一般的方式是select * from u_user where id >= (select id from u_user l....

文章 2022-11-27 来自：开发者社区

大数据任务优化

补充优化优化五：进程与CPU绑定大数据环境经常是多个组件混合部署的，特别是当负载较高的时候，就会遇到资源竞争，导致资源利用率低下，以及由于计算机底层的结构设计，以及操作系统的抽象，对一些组件来说，资源的利用效率不是最高的，因此有必要对一些混合部署的大数据组件进行硬件资源的隔离，进一步说是将进程与具体的CPU以及内存进行绑定，也就是充分使用numa架构的特性，提升处理效率，降低组件之间....

文章 2022-11-16 来自：开发者社区

《MaxCompute SQL计算成本调优以及优化方法》电子版地址

《MaxCompute SQL计算成本调优以及优化方法》MaxCompute SQL计算成本调优以及优化方法电子版下载地址： https://developer.aliyun.com/ebook/3764 电子书： </div>

文章 2022-11-02 来自：开发者社区

为了跟踪使用 dvc add、dvc repro 等添加的数据文件和目录，DVC 将所有这些文件移动到项目的缓存中。但是，工作空间中还需要与当前代码匹配的跟踪文件的版本，因此可以将缓存文件的子集保留在工作目录中。这是否意味着某些文件将在工作区和缓存之间重复？那将没有效率！特别是对于大文件（几千兆字节或更大）。为了使两个目录中的文件不重复，DVC 可以自动创建文件链接来指向工作空间中的缓存数据....

文章 2022-09-29 来自：开发者社区

大数据计算，如何优化SQL?

>>哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10年DBA工作经验>一位上进心十足的【大数据领域博主】！>中国DBA联盟(ACDU)成员，目前从事DBA及程序编程>擅长主流数据Oracle、MySQL、PG 运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。>✨ 如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】&am...

文章 2022-09-21 来自：开发者社区

MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化

1. 优化概述最近协助一个项目做下优化任务的工作。因为主要数据都是报表，对数对的昏天暗地的不敢随便调整SQL逻辑，所以本身只想做点参数调整，但是逼不得已后来还是改了一下SQL。这篇文章主要讲一个SQL优化反映的两个优化点。分别是：一、笛卡尔积逻辑的参数优化。二、一个复杂JOIN逻辑的优化思路。2. 笛卡尔积逻辑参数优化早期版本MaxCompute（ODPS）好像对笛卡尔积....

文章 2022-09-09 来自：开发者社区

ODPS SQL优化总结

背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(Green plum)，到Hadoop(Hive、Tez、Sprak)，再到批流一体Flink/Blink、数据湖等，SQL都是其主流的数据处理工具。海量数据下的高效数据流转，是数据同学必须直面的一个挑战。本文结合阿里自研的ODPS平台，从自身工作出发，总结SQL的一....