文章 2017-05-02 来自:开发者社区

《深入理解Spark:核心思想与源码分析》——3.7节创建和启动DAGScheduler

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章,第3.7节创建和启动DAGScheduler,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看 3.7 创建和启动DAGSchedulerDAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作,包括:创建Job,将DAG中的RDD划分到不同的Stage,提交....

文章 2017-05-02 来自:开发者社区

深入理解Spark:核心思想与源码分析. 3.7 创建和启动DAGScheduler

3.7 创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作,包括:创建Job,将DAG中的RDD划分到不同的Stage,提交Stage,等等。创建DAG-Scheduler的代码如下。 @volatile private[spark] var dagScheduler: DAGScheduler = _ &nb...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注