AI 助理
文档备案控制台
文章 2024-02-24 来自：开发者社区

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）

1、Spark概述 1.1 什么是Spark Spark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎。 spark基于内存的快速、通用、可扩展的大数据分析计算引擎,是基于内存的，通过DAG（有向无环图）执行引擎支持无环数据流 弹性分布式数据集(RDD）...

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）
文章 2023-08-04 来自：开发者社区

Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）

4、DStream转换DStream上的操作和RDD类型，分为转换和输出两种类型，此外转换操作中还有一些比较特殊的原语，如：transform()以及各种Window相关的原语。4.1 无状态转换操作无状态转换操作就是把RDD转换操作应用到DStream每个批次上，每个批次相互独立，自己算自己的。4.1.1 常规无状态转换操作DStream的部分无状态转换操作列表需要注意的是，尽管这些函数看起来....

Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）
文章 2023-08-04 来自：开发者社区

Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）

这是本人的学习过程，看到的同道中人祝福你们心若有所向往，何惧道阻且长；但愿每一个人都像星星一样安详而从容的，不断沿着既定的目标走完自己的路程；最后想说一句君子不隐其短，不知则问，不能则学。如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏（谢谢大家）一、SparkStreaming概述1.1 SparkStreaming是什么SparkStreaming用于流式数据的处理。（1）Spark....

Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
文章 2023-08-04 来自：开发者社区

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（二）

2.3.5 配置高可用（HA）1、高可用原理2、配置高可用（0）停止Spark集群（1）Zookeeper正常安装并启动（2）修改spark-env.sh文件添加如下配置#注释掉如下内容： #SPARK_MASTER_HOST=hadoop102 #SPARK_MASTER_PORT=7077 #添加如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spar....

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（二）
文章 2023-08-04 来自：开发者社区

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）

1、Spark概述1.1 什么是SparkSpark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Hadoop和Spark历史Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。1.3 Hadoop和Spark框架对比1.4 Spark内置模块1.5 Spark特点1、快：与Hadoop的MapReduce相比，Spark基于内存的运....

Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark学习相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注