文章 2022-11-17 来自:开发者社区

Spark worker 定时更新心跳 | 学习笔记

开发者学堂课程【Scala 核心编程 - 进阶:Spark worker 定时更新心跳】学习笔记,与课程紧密连接,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/610/detail/9125Spark worker 定时更新心跳前一节完成到了 sparkworker 可以向 master 完成注册,服务器可以将这个work....

Spark worker 定时更新心跳 | 学习笔记
问答 2021-12-12 来自:开发者社区

spark当中RDD 如何通过记录更新的方式容错?

spark当中RDD 如何通过记录更新的方式容错?

问答 2020-06-16 来自:开发者社区

spark 3.0 对code generation 有什么更新或者改进么

spark 3.0 对code generation 有什么更新或者改进么

问答 2019-09-23 来自:开发者社区

Apache spark如何在数据湖中更新海量原始数据?

我正在设计一个分析型大数据系统。我将拥有大量数据。问题在于大量原始数据将经常被更新(每次大约20,000,000个事件)。 我想做的就是将最新数据放入数据湖(Hadoop)中的新文件中,然后运行(Spark)作业,它将新的原始数据与旧的合并。这将花费太长时间。 您对如何改善此过程有任何想法吗?

问答 2018-12-19 来自:开发者社区

Spark Scala:如何同时过滤RDD和更新计数器

我的初始RDD是记录类型,记录的布局是: a_key, b_key,c_key,f_name,l_name,address现在我必须: 删除具有a_key或b_key或c_key为空/空的记录我必须同时更新无效记录的计数器。我这样试过: sc.register( recordStatsAccumulator, "Stat accumulator for " + filename ) val nu....

问答 2018-12-12 来自:开发者社区

PRDD(部分更新)是否包含在任何版本的Apache spark中?

我指的是以下IEEE论文:https://ieeexplore.ieee.org/document/7973685/authors#authorsPRDD在这里指的是部分更新RDD。我尝试搜索相同但在spark文档中找不到任何引用。因此,在这里询问它是否包含在任何版本的spark中。

文章 2017-05-02 来自:开发者社区

《深入理解Spark:核心思想与源码分析》——3.12节Spark环境更新

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章,第3.12节Spark环境更新,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看 3.12 Spark环境更新在SparkContext的初始化过程中,可能对其环境造成影响,所以需要更新环境,代码如下。 postEnvironmentUpdate() postApplicationStart() Spar....

文章 2017-05-02 来自:开发者社区

深入理解Spark:核心思想与源码分析. 3.12 Spark环境更新

3.12 Spark环境更新 在SparkContext的初始化过程中,可能对其环境造成影响,所以需要更新环境,代码如下。 postEnvironmentUpdate() postApplicationStart() SparkContext初始化过程中,如果设置了spark.jars属性, spark.jars指定的jar包将由addJar方法加入httpFileServer的jarDir变量....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注