文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列五(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/   前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer 以及核心类库TreeNode,本文将详细讲解Spark SQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式,并加上自己的实践,对Optimizer有...

Spark-SparkSQL深入学习系列五(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列四(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/     前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer,本来打算直接写Optimizer的,但是发现忘记介绍TreeNode这个Catalyst的核心概念,介绍这个可以更好的理解Optimizer是如何对Analyzed Logical ...

Spark-SparkSQL深入学习系列四(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列三(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/     前面几篇文章讲解了Spark SQL的核心执行流程和Spark SQL的Catalyst框架的Sql Parser是怎样接受用户输入sql,经过解析生成Unresolved Logical Plan的。我们记得Spark SQL的执行流程中另一个核心的组件式Analyzer,本文将会介绍A...

文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列二(转自OopsOutOfMemory)

   /** Spark SQL源码分析系列文章*/     Spark SQL的核心执行流程我们已经分析完毕,可以参见Spark SQL核心执行流程,下面我们来分析执行流程中各个核心组件的工作职责。     本文先从入口开始分析,即如何解析SQL文本生成逻辑计划的,主要设计的核心组件式SqlPar...

Spark-SparkSQL深入学习系列二(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列一(转自OopsOutOfMemory)

 /** Spark SQL源码分析系列文章*/     自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst,到至今1年多了,Spark SQL的贡献者从几人到了几十人,而且发展速度异常迅猛,究其原因,个人认为有以下2点:     1、整合:将SQL类型的查询语言整合到 Spa...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注