apache spark内存的相关内容

问答 2021-12-07 来自：开发者社区

10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】

主题： Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析时间： 10月29日 19:00 观看方式：扫描下方二维码进钉钉群或者登陆直播间（即回看链接）https://developer.aliyun.com/live/245610 讲师：张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化议题介绍： Spa....

文章 2020-09-28 来自：开发者社区

Spark在处理数据的时候，会将数据都加载到内存再做处理吗？

对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都加载到内存再做处理吗？很显然，答案是否定的！对该问题产生疑问的根源还是对Spark计算模型理解不透彻。对于Spark RDD，它是一个分布式的弹性数据集，不真正存储数据。如果你没有在代码中调用persist或者cache算子，Spark是不会真正将数据都放到内存里的。此....

文章 2020-09-09 来自：开发者社区

9月10日 Spark 社区直播【利用持久内存提速Spark】

主题：利用持久内存提速Spark 简介：主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。时间： 9月10日 19:00 本周四观看方式：或届时进入直播间（回看链接）：https://developer.al....

问答 2020-05-23 来自：开发者社区

请问使用spark的时候，如果使用高性能64核高内存的阿里云服务器，用哪种模式运行比较好？

在64核高内存的阿里云服务器中使用spark的时候，用Local模式的64线程运行比较好还是用standalone将多个子节点设置在本地好？遇到了同样的问题，在CSDN看到了，希望阿里云团队能够给出正确、标准的答案~请查看

问答 2019-08-14 来自：开发者社区

spark的配置，executor.memoryOverhead这部分内存究竟是干嘛的？

请教个问题，spark的配置，executor.memoryOverhead这部分内存究竟是干嘛的？文档上说vm overheads 之类的，没明白。本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

文章 2019-07-08 来自：开发者社区

前言本文主要介绍关于通过配置Spark任务运行时的内存和CPU（Vcore）来提升Spark性能的方法。通过配置内存和CPU（Vcore）是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍，数据工作台的详细介绍请参考：数据工作台。提交Spark任务的参数提交Spark任务时需要提供如下的参数。 --class org.apache.spark.exam....

问答 2019-05-16 来自：开发者社区

请教大家一个问题： spark on yarn 内存溢出除了增加driver内存以外还有什么好的解决方案吗？

我现在一个清洗程序从kafka读取消息然后处理然后写入kafka sink。 driver 给了它4G 还报内存溢出，我查了下内存溢出那时段的数据是比较少的。一分钟最多100条。

问答 2019-01-30 来自：开发者社区

请问一下如何能查看spark struct streaming内存使用情况呢

共有50条

< 1 2 3 4 5 >

跳转至： GO

更新时间 2024-08-08 15:30:43

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多内存相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注

spark提供的内存分配模式是什么？

spark优化之内存管理是什么？