apache spark执行的相关内容

问答 2021-11-27 来自：开发者社区

odpscmd 执行spark list错误

odpscmd 执行spark list错误 FAILED: Get Application Meta List failed

文章 2020-08-03 来自：开发者社区

Spark集群组件 Spark是典型的Master/Slave架构，集群主要包括以下4个组件： Driver：Spark框架中的驱动器，运行用户编写Application 的main()函数。类比于MapReduce的MRAppmaster Master：主节点，控制整个集群，监控worker。在Yarn模式中为全局资源管理器 Worker：从节点，负责控制计算节点，启动Executor。类比.....

文章 2020-07-09 来自：开发者社区

Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？

Spark算子主要划分为两类：transformation和action，并且只有action算子触发的时候才会真正执行任务。还记得之前的文章《Spark RDD详解》中提到，Spark RDD的缓存和checkpoint是懒加载操作，只有action触发的时候才会真正执行，其实不仅是Spark RDD，在Spark其他组件如SparkStreaming中也是如此，这是Spark的一个特性之一。....

问答 2020-02-14 来自：开发者社区

一台节点上以 root 用户执行一个 spark 程序，以其他非 root 用户也同时在执行

一台节点上以 root 用户执行一个 spark 程序，以其他非 root 用户也同时在执行一个 spark 程序，这时以 spark 用户登录，这个节点上，使用 Jps 会看到哪些线程？

问答 2019-10-29 来自：开发者社区

YarnClient模式下，执行Spark SQL报这个错：

YarnClient模式下，执行Spark SQL报这个错，Exception in thread “Thread-2” java.lang.OutOfMemoryError: PermGen space，但是在Yarn Cluster模式下正常运行，可能是什么原因？

问答 2019-10-28 来自：开发者社区

为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么问题

为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么问题发生?

问答 2019-08-22 来自：开发者社区

一个spark程序，会先把日志打印完再回去执行转换算子还是执行完转换算子以后再打印日志？

logger.info("11111") spark转换算子。。。 logger.info("22222") spark转换算子。。。 logger.info("33333") spark action算子 logger.info("44444") 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706...

问答 2019-05-16 来自：开发者社区