云原生大数据计算服务 MaxCompute优化的相关内容

问答 2023-08-19 来自：开发者社区

大数据量进行关联查询后更新至主表如何优化

场景：主表为客户表，每天都需要从另外5张中间表里匹配到对应客户的信息，将其更新到客户表使用的数据库为oracle，目前使用的做法是“update set select from left join ....”的方式特殊情况：客户表里，客户编号是主键，但是在其他5张表里客户编号不是，所以在进行关联查询时，每张表都以客户编号，做了开窗操作，做到随机取一条目前优化：将另外的5张表里，和主表匹配不....

文章 2023-08-02 来自：开发者社区

直击运维痛点，大数据计算引擎 EasyMR 的监控告警设计优化之路

当企业的业务发展到一定的阶段时，在系统中引入监控告警系统来对系统/业务进行监控是必备的流程。没有监控或者没有一个好的监控，会导致开发人员无法快速判断系统是否健康；告警的实质则是“把人当服务用”，用告警通知人的方式去干预系统达到修正的目的。监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中都是至关重要的一环。在新版本的 EasyMR 中袋鼠云开发团队也对监控告警功能进行了全新的优化，通过本....

文章 2023-07-29 来自：开发者社区

大数据量下数据库分页查询优化方案汇总

准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history描述：某个业务的订单历史表主要字段：unsigned int id，tinyint(4) int type字段情况：该表一共37个字段，不包含text等大型数据，最大为varchar(500)，id字段为索引，且为递增。数据量：5709294MySQL版本：5.7.16线下找一张百万级的测试表....

文章 2023-07-25 来自：开发者社区

php执行语句在MySQL批量插入大数据量的解决方案及计算程序执行时间(大数据量、MySQL语句优化)

前言近期在MySQL报表开发过程中，需要爬取多API返回JSON数据，然后插入到数据库中。因不同API的返回时间、返回数据、返回格式、插入数据表等因素各不相同。如果前期架构不完善，会导致服务器的直接崩溃，为此，做了下php+mysql的批量插入大数据量的测试工作。一、PHP计算程序执行时间microtime() 函数，返回当前 Unix 时间戳的微秒数，都是以秒为单位返回。执行代码:$start....

问答 2023-07-04 来自：开发者社区

MaxCompute两个上亿表的join 有什么优化思路可参考吗？

问答 2023-07-02 来自：开发者社区

表格存储odps的查询，可以优化吗？

问答 2023-06-28 来自：开发者社区

用外网endpoint可以联通，但是永洪BI抽取maxcompute表数据比较慢，有优化的方法吗？

用外网endpoint可以联通，但是永洪BI 抽取maxcompute表数据比较慢，1300w数据要两个半小时。有优化的方法吗？外部工具读取maxcompute表的速率正常情况下是多少

文章 2023-06-28 来自：开发者社区

大数据数据存储的搜索引擎Elasticsearch的调优的集群部署优化

但是，在使用Elasticsearch时，集群部署优化也是一个重要的考虑因素。以下是一些关于Elasticsearch调优的集群部署优化的建议：节点数量：根据数据量和查询负载，可以通过增加Elasticsearch节点的数量来提高性能和可用性。数据存储：可以使用分布式存储系统，如Elasticsearch的内存存储和云存储服务，以在不增加硬件资源的情况下支持更大的数据量。监控和日志：应该使用E....

文章 2023-06-27 来自：开发者社区

大数据数据存储的搜索引擎Elasticsearch的调优的数据模型优化

但是，在使用Elasticsearch时，数据模型优化也是一个重要的考虑因素。以下是一些关于Elasticsearch调优的数据模型优化的建议：分布式特性：可以使用Elasticsearch的分布式特性，如Shard和Replica，以在不增加硬件资源的情况下支持更高的并发性。合适的数据类型：应该使用合适的数据类型，以便更好地支持查询。索引结构：应该使用合适的索引结构，以便更好地支持查询。监控....

文章 2023-06-27 来自：开发者社区

大数据数据存储的搜索引擎Elasticsearch的调优的磁盘读写优化

但是，在使用Elasticsearch时，磁盘读写优化也是一个重要的考虑因素。以下是一些关于Elasticsearch调优的磁盘读写优化的建议：合适的索引结构：应该使用合适的索引结构，以便更好地支持查询。数据类型：应该使用合适的数据类型，以便更好地支持查询。分布式特性：可以使用Elasticsearch的分布式特性，如Shard和Replica，以在不增加硬件资源的情况下支持更高的并发性。监控....