请问使用spark的时候，如果使用高性能64核高内存的阿里云服务器，用哪种模式运行比较好？
在64核高内存的阿里云服务器中使用spark的时候，用Local模式的64线程运行比较好还是用standalone将多个子节点设置在本地好？ 遇到了同样的问题，在CSDN看到了，希望阿里云团队能够给出正确、标准的答案~请查看
阿里巴巴Spark实践与探索 — 内存计算时代
在云栖大会期间，阿里云技术专家封神(曹龙)分享了数据处理技术、Spark介绍和阿里Spark历程 等方面的内容。" https://yq.aliyun.com/download/1619?spm=a2c4e.11154804.0.0.616e6a79KZ6kTl
spark的配置，executor.memoryOverhead这部分内存究竟是干嘛的？
请教个问题，spark的配置，executor.memoryOverhead这部分内存究竟是干嘛的？ 文档上说vm overheads 之类的，没明白。 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。
请教大家一个问题： spark on yarn 内存溢出 除了增加driver内存以外还有什么好的解决方案吗？
我现在一个清洗程序 从kafka读取消息 然后处理 然后写入kafka sink。 driver 给了它4G 还报内存溢出，我查了下内存溢出那时段的数据是比较少的。 一分钟最多100条。
请问一下如何能查看spark struct streaming内存使用情况呢
请问一下如何能查看spark struct streaming内存使用情况呢
想了解Spark ShuffleMapTask计算的输出文件，是如何把大于内存的输入数据(HDFS数据源)进行合并相同key,并进行排序的
[问题]).ShuffleMapTask输出数据文件前，key合并，和排序是如何做到的，如果数据远大于内存?).SPARK 1.6.0-cdh5.15.0[复现]).scala worldcount: val distFile:org.apache.spark.rdd.RDD[String] = sc.textFile("hdfs://standalone.com:9000/opt/data...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。