EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队的周克勇将详细介绍Native Codegen框架。本文整理自视频 https://developer.aliyun.com/live/43579 本次分享主要分为三部分，第一做这件事情的动机和背景，第二做的.....

文章 2022-02-17 来自：开发者社区

7月30日产品直播【EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework】

主题： EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework 时间： 7月30日周四 19:00 参与直播方式：扫描下方钉钉二维码进群，届时是直接观看或届时进入直播间https://developer.aliyun.com/live/43579 议题简介： EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了....

文章 2022-02-17 来自：开发者社区

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

作者：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。背景和动机 SparkSQL多年来的性能优化集中在Optimizer和Runtime两个领域。前者的目的是为了获得最优的执行计划，后者的目的是针对既定的计划尽可能执行的更快。相比于Runtime，Optimizer是更...

文章 2022-02-17 来自：开发者社区

EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus

作者：陆路，花名世仪，阿里巴巴计算平台事业部EMR团队高级开发工程师，大数据领域技术爱好者，对Spark、Hive等有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。背景介绍TPC-DS 测试集采用星型和雪花型等多维数据模型，包含 7 张事实表和 17 张维度表，以 store channel 为例，事实表和维度表的关联关系如下所示：分析 TPC-DS 全部 99 个查询....

文章 2022-02-17 来自：开发者社区

EMR Spark-SQL性能极致优化揭秘概览篇

作者：林学维，阿里云智能EMR团队技术专家，目前主要专注于EMR产品中开源计算引擎的优化工作引子最近阿里云 E-MapReduce 团队在 TPCDS-Perf 榜单中提交了最新成绩，相比第二名(其实也是 EMR 团队于 2019 年提交的记录)，无论从性能还有性价比都取得了 2 倍+的优秀成绩！详细看 TPCDS Perf 阿里云 E-MapReduce 团队，除了在产品、易用性、安全...

共有11条

< 1 2 >

跳转至： GO

更新时间 2024-10-17 18:20:21

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache sparkemr相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注