AI 助理
备案控制台
文章 2022-06-19 来自：开发者社区

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（中）

请看下面的例子（根据相同键，计算其所有值的平均值）：val cbRDD = sc.parallelize(Seq(("a", 1), ("a", 2), ("a", 3), ("b", 2), ("b", 5)))val result = cbRDD.combineByKey( // 分区内遇到新的键时，创建一个(累加值，出现次数)的键值对 (v) => (v, 1), // 分区内遇到已....

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（中）
文章 2020-06-29 来自：开发者社区

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。 RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resilient（弹性的）....

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

缓存spark相关内容

缓存您可能感兴趣

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"应对高并发，利用Redis版缓存实现极速响应","productDescription":"随着业务发展，承载业务的应用将会面临更大的流量压力，如何降低系统的响应时间，提升系统性能成为了每一位开发人员需要面临的问题，使用缓存是首选方案。本方案介绍如何运用云数据库Redis版构建缓存为应用提速。","productContentLink":"https://www.aliyun.com/solution/tech-solution/redis-cache-speedup","isDisplayProductIcon":true,"productButton1":{"productButtonText":"方案详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/redis-cache-speedup"},"productButton2":{"productButtonText":"一键部署","productButtonLink":"https://help.aliyun.com/document_detail/2834466.html"},"productButton3":{"productButtonText":"查看更多技术解决方案","productButtonLink":"https://www.aliyun.com/solution/tech-solution"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"解决方案推荐","productPromotionInfoFirstText":"多源集成，极致性能，搭建轻量OLAP分析平台","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/hologres-olap","productPromotionInfoSecondText":"从海量到价值，泛时序数据一站式分析与洞察","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/lindorm-data-process"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}
应对高并发，利用Redis版缓存实现极速响应
随着业务发展，承载业务的应用将会面临更大的流量压力，如何降低系统的响应时间，提升系统性能成为了每一位开发人员需要面临的问题，使用缓存是首选方案。本方案介绍如何运用云数据库Redis版构建缓存为应用提速。
解决方案推荐
多源集成，极致性能，搭建轻量OLAP分析平台 从海量到价值，泛时序数据一站式分析与洞察

阿里云存储服务

阿里云存储基于飞天盘古2.0分布式存储系统，产品多种多样，充分满足用户数据存储和迁移上云需求。

+关注