AI 助理
备案控制台
问答 2022-02-15 来自：开发者社区

spark sql 中缓存方式是什么？

spark sql 中缓存方式是什么？

问答 2022-02-15 来自：开发者社区

Spark 2.0+即使数据帧被缓存，如果其中一个源更改，它会重新计算？

这是我的用例。有多个源df1到df4，df3代表现有的hive表从df1到df4构建一个df5将df5插入/追加到现有的配置单元表中。将df5保存到其他地方。问题是第4步没有任何保存到现场。这是否意味着在第3步之后，df3会改变吗？我已经使用cache（）来实现df1到df5。但看起来如果源已被更改，df5会重新计算我检查了Spark Web UI存储。所有数据帧都是100％缓存的。

问答 2022-02-15 来自：开发者社区

spark-submit --files hdfs：//文件在驱动程序的/ tmp中缓存

我正在运行这样的spark-submit：spark-submit --deploy-mode client --master yarn --conf spark.files.overwrite=true --conf spark.local.dir='/my/other/tmp/with/more/space' --c...

问答 2022-02-15 来自：开发者社区

spark任务（每个执行程序）共享缓存位置吗？

spark会使用相同的缓存位置来存储每个执行程序的tmp文件例如，如果我在一个执行程序中运行了两个任务并且都创建了一个具有相同名称的文件，那么是否会出现“文件存在”的错误？

文章 2021-12-19 来自：开发者社区

Spark 访问 OSS 透明缓存加速 | 学习笔记

开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲：Spark 访问 OSS 透明缓存加速】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/833/detail/13972Spark 访问 OSS 透明缓存加速 内容介绍一、  JindoFS 缓存简介二、 &...

Spark 访问 OSS 透明缓存加速 | 学习笔记
问答 2021-12-09 来自：开发者社区

Spark访问OSS缓存加速是如何部署缓存服务的？

Spark访问OSS缓存加速是如何部署缓存服务的？

文章 2020-06-29 来自：开发者社区

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。 RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resilient（弹性的）....

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
问答 2019-03-25 来自：开发者社区

请教下，spark缓存rdd,前端应用是否可以直接查询这个rdd?

请教下，spark缓存rdd,前端应用是否可以直接查询这个rdd?

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

缓存spark相关内容

缓存您可能感兴趣

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"应对高并发，利用Redis版缓存实现极速响应","productDescription":"随着业务发展，承载业务的应用将会面临更大的流量压力，如何降低系统的响应时间，提升系统性能成为了每一位开发人员需要面临的问题，使用缓存是首选方案。本方案介绍如何运用云数据库Redis版构建缓存为应用提速。","productContentLink":"https://www.aliyun.com/solution/tech-solution/redis-cache-speedup","isDisplayProductIcon":true,"productButton1":{"productButtonText":"方案详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/redis-cache-speedup"},"productButton2":{"productButtonText":"一键部署","productButtonLink":"https://help.aliyun.com/document_detail/2834466.html"},"productButton3":{"productButtonText":"查看更多技术解决方案","productButtonLink":"https://www.aliyun.com/solution/tech-solution"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"解决方案推荐","productPromotionInfoFirstText":"多源集成，极致性能，搭建轻量OLAP分析平台","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/hologres-olap","productPromotionInfoSecondText":"从海量到价值，泛时序数据一站式分析与洞察","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/lindorm-data-process"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}
应对高并发，利用Redis版缓存实现极速响应
随着业务发展，承载业务的应用将会面临更大的流量压力，如何降低系统的响应时间，提升系统性能成为了每一位开发人员需要面临的问题，使用缓存是首选方案。本方案介绍如何运用云数据库Redis版构建缓存为应用提速。
解决方案推荐
多源集成，极致性能，搭建轻量OLAP分析平台 从海量到价值，泛时序数据一站式分析与洞察

阿里云存储服务

阿里云存储基于飞天盘古2.0分布式存储系统，产品多种多样，充分满足用户数据存储和迁移上云需求。

+关注