问答 2020-06-05 来自:开发者社区

spark任务在yarn上 ,报错了?报错

Caused by: java.io.FileNotFoundException: /etc/cloudera-scm-server/db.properties (Permission denied)     at java.io.FileInputStream.open0(Native Method)     at java.io.Fi...

问答 2020-05-29 来自:开发者社区

Spark on Yarn 使用Docker Container 400 请求报错 

Spark on Yarn 使用Docker Container Executor处理任务时出错ExitCodeException exitCode=1 运行命令: spark-submit --class org.apache.spark.examples.SparkPi --master yarn  /opt/spark/examples/jars/spark-examples*.j...

问答 2020-02-14 来自:开发者社区

spark on yarn 和 mapreduce 中 yarn 有什么区别

spark on yarn 和 mapreduce 中 yarn 有什么区别

文章 2019-11-12 来自:开发者社区

11月14日Spark社区直播【 Spark on Kubernetes & YARN】

主题: Spark on Kubernetes & YARN 点击这里是直播间直达链接(回看链接) 时间11月14日:19:00-20:00 直播介绍:以Kubernetes为代表的云原生技术越来越流行起来,spark是如何跑在Kubernetes之上来享受云原生技术的红利?Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别?以及Kubernetes 和YA....

11月14日Spark社区直播【 Spark on Kubernetes & YARN】
问答 2019-10-29 来自:开发者社区

Spark on Yarn架构是怎么样的?

Spark on Yarn架构是怎么样的?(要会画哦,这个图)

问答 2019-10-29 来自:开发者社区

Spark on Yarn 模式有哪些优点?

Spark on Yarn 模式有哪些优点?

问答 2019-10-17 来自:开发者社区

spark on yarn 为什么 总起启动 2 个 executor ?如何设置多个呢?

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群

问答 2019-08-14 来自:开发者社区

spark任务提交到yarn上运行的,但是总在一个节点上多个executer运行,请问有什么思路吗?

spark任务提交到yarn上运行的,但是总在一个节点上多个executer运行,请问有什么思路吗? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

文章 2019-07-26 来自:开发者社区

基于Yarn API的Spark程序监控

一.简述 基于对Yarn ResourceManager中运行程序的状态(RUNNING、KILLED、FAILED、FINISHED)以及ApplicationMaster中Application的Job执行时长超过批次时间的监控,来达到对Spark on Yarn程序的失败重启、超时重启等功能 二.Yarn主要的几类API 1.查询整个集群指标 GET http:// http addre.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里巴巴终端技术

阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。

+关注