问答 2020-06-14 来自:开发者社区

spark集群对服务器要求配置怎么样:报错

 spark集群对服务器要求配置怎么样 现在公司的配置太low . 我打算往死里要,

问答 2020-06-08 来自:开发者社区

在向spark集群提交任务时出现Could not parse Master URL的错误?报错

集群为自己搭建的,版本1.5.0,standalong部署模式,不知道是什么问题,求大神支招! 以上图片是提交作业的参数和报错信息

问答 2020-06-07 来自:开发者社区

./start-all.sh启动spark集群报错?报错

[root@localhost sbin]# ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-localhost.localdomain.out fa.....

文章 2020-06-04 来自:开发者社区

大数据分享Spark任务和集群启动流程

大数据分享Spark任务和集群启动流程 大数据分享Spark任务和集群启动流程,Spark集群启动流程1.调用start-all.sh脚本,开始启动Master2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker4.Worker服务启动后开始调用preStart....

问答 2019-10-29 来自:开发者社区

不启动Spark集群Master和work服务,可不可以运行Spark程序?

不启动Spark集群Master和work服务,可不可以运行Spark程序?

问答 2019-10-25 来自:开发者社区

简要描述Spark分布式集群搭建的步骤

简要描述Spark分布式集群搭建的步骤

问答 2019-10-25 来自:开发者社区

Spark master HA 主从切换过程不会影响集群已有的作业运行,为什么?

Spark master HA 主从切换过程不会影响集群已有的作业运行,为什么?

问答 2019-10-24 来自:开发者社区

请问我想做spark structured 加载多个集群的Hive当做维表,怎么可以实现

这样可以实现吗 这样写不行 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群

问答 2019-09-04 来自:开发者社区

spark 在idea调试时使用local模式可以跑通,改成集群模式报错

spark 在idea调试时使用local模式可以跑通,改成集群模式报错,SparkException: Failed to register classes with Kryo,java.lang.ClassNotFoundException:(我写的序列化类public class Registrator implements KryoRegistrator), 求解决思路 本问题来自阿里.....

问答 2019-09-02 来自:开发者社区

在ECS 上打造spark集群

请教诸位大神,我在ECS上购买了一个4核 cpu,想通过这个打造一个用来学习的spark集群。看有文章说可以通过docker做一个集群,想问问大神们如何这样做?有没有相关教程?谢谢!!

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注