文章 2024-05-02 来自:开发者社区

Spark是一个基于内存的通用数据处理引擎,可以进行大规模数据处理和分析

Spark是一个基于内存的通用数据处理引擎,可以进行大规模数据处理和分析。它提供了高效的数据存储、处理和分析功能,支持多种编程语言和数据源,包括Hadoop、Cassandra、HBase等。 Spark具有以下特点: 高效性:Spark使用内存计算技术,可以快速地进行数据处理和分析,比传统的磁盘读写方式更加高效。 易用性:Spark提供了简洁的API和丰富的库,可以方便地进行数据处...

Spark是一个基于内存的通用数据处理引擎,可以进行大规模数据处理和分析
文章 2023-08-04 来自:开发者社区

Spark学习---7、Spark内核(源码提交流程、任务执行、Shuffle、内存管理)(一)

这是本人的学习过程,看到的同道中人祝福你们心若有所向往,何惧道阻且长;但愿每一个人都像星星一样安详而从容的,不断沿着既定的目标走完自己的路程;最后想说一句君子不隐其短,不知则问,不能则学。如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏(谢谢大家)一、源码全流程1.1 Spark提交流程(YarnCluster)1.2 Spark通讯架构1.3 Spark任务划分1.4 任务调度1.5 ....

Spark学习---7、Spark内核(源码提交流程、任务执行、Shuffle、内存管理)(一)
问答 2023-05-31 来自:开发者社区

ADB-中Spark资源规格列表 上面只列了内核和内存大小,请问硬盘大概有多大呢?我看 small

ADB-中Spark资源规格列表 上面只列了内核和内存大小,请问硬盘大概有多大呢。我看 small 是只有 18 G?数据湖3.0 的

问答 2023-02-14 来自:开发者社区

基于yarn,spark任务可以配置动态资源内存和核数,flink呢?

基于yarn,spark任务可以配置动态资源内存和核数,flink呢,是任务一开始配置多大内存就是多大吗?flink不用配置核数,一个任务会使用多少核呢?

问答 2022-11-23 来自:开发者社区

如何计算spark中的数据集,在加入内存中的大小

如题,数据在磁盘中,一般因为压缩等原因,在加载到内存中,完全展开以后,数据会膨胀很多,为了更好的利用内存,和调整相应参数,如何准确获取到,或者能预估出数据集在内存中的大小 当前尝试使用创建df.cache.count,然后通过执行计划获取数据集大小 val bytes = spark.sessionState.executePlan(df.queryExecution.logical).opti....

文章 2022-11-09 来自:开发者社区

【Spark】【RDD】从内存(集合)创建RDD

val list = List(1,2,3) var rdd = sc.parallelize(list) rdd.partitions.size通过调用SparkContext的parallelize方法,在一个已经存在的Scala集合上创建的(一个Seq对象)。集合的对象将会被拷贝,创建出一个可以被并行操作的分布式数据集。一旦分布式数据集(distData)被创建好,它们将可以被并行操作。例....

问答 2022-07-14 来自:开发者社区

请教个问题,Spark on MaxCompute是基于内存的吗?会不会比直接用odps sql写要

请教个问题,Spark on MaxCompute是基于内存的吗?会不会比直接用odps sql写要快很多?

问答 2021-12-24 来自:开发者社区

spark executor容器内存如何规划?

spark executor内存分为3部分,执行内存/缓存内存/程序内存,如何合理的分配服务器内存给这3个部分?为什么?

问答 2021-12-12 来自:开发者社区

MaxCompute Spark中Executor 内存不足的原因及解决方案是什么?

MaxCompute Spark中Executor 内存不足的原因及解决方案是什么?

问答 2021-12-12 来自:开发者社区

MaxCompute Spark中Executor 内存不足的表现形式是什么?

MaxCompute Spark中Executor 内存不足的表现形式是什么?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注