AI 助理
文档备案控制台
文章 2024-02-25 来自：开发者社区

Spark学习---day02、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）

前言 Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是： RDD : 弹性分布式数据集      累加器：分布式共享只写变量      广播变量：分布式共享只读变量 接下来我们一起看看这三大数据结构是如何在数据处理中使用的。...

Spark学习---day02、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
文章 2023-08-04 来自：开发者社区

Spark学习---2、SparkCore（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）

2.3.1.4 groupBy()分组1、用法：groupBy(f) ,以元素为粒度对每个元素执行函数f。2、函数f：（1）函数f为用户自定义实现内容，返回值任意（2） 函数返回值为算子groupBy返回值的key，元素为value。（3）算子groupBy的返回值为新的重新分区的K—V类型RDD3、功能说明：分组，按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。4、案例说明....

Spark学习---2、SparkCore（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
文章 2023-08-04 来自：开发者社区

Spark学习---2、SparkCore（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）

1、RDD概述1.1 什么是RDDRDD(Resilient Distributed Dataset)叫弹性分布式数据集，是Spark中对于分布式数据集的抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。1.2 RDD五大特性1、一组分区，即是数据集的基本组成单位，标记数据是哪个分区的2、一个计算每个分区的函数3、RDD之间的依赖关系4、一个Partitio....

Spark学习---2、SparkCore（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
文章 2017-11-14 来自：开发者社区

Spark RDD概念学习系列之Spark的算子的分类（十一）

Spark的算子的分类     　　　从大方向来说Spark 算子大致可以分为以下两类:      1Transformation 变换/转换算子这种变换并不触发提交作业完成作业中间过程处理。 　　　　　Transformation 操作是延迟计算的也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行需要等到有 Action 操作的...

文章 2017-11-13 来自：开发者社区

Spark RDD概念学习系列之Spark的算子的作用（十四）

Spark的算子的作用       　首先，关于spark算子的分类，详细见 http://www.cnblogs.com/zlslch/p/5723857.html 　　1、Transformation 变换/转换算子 　　1、map算子 　　2、flatMap算子 　　3、mapPartitions算子 　　4、union算子 　　5、cartesian...

文章 2017-10-02 来自：开发者社区

Spark学习之RDD简单算子

collect 返回RDD的所有元素 scala> var input=sc.parallelize(Array(-1,0,1,2,2))  input: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[15] at parallelize a...

Spark学习之RDD简单算子

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark学习相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注