AI 助理
备案控制台
文章 2019-08-05 来自：开发者社区

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者 | 知乎数据工程团队 “数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述....

用Flink取代Spark Streaming！知乎实时数仓架构演进
文章 2019-05-11 来自：开发者社区

AI平台-Spark引擎架构

1. 背景 2.spark内核结构 2.1 重要组成部分 1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.2 Spark工作流程简要

问答 2018-12-12 来自：开发者社区

使用错误架构的Apache Spark上的读取流重试1830次

在Spark结构化流式传输中，当来自S3的传入记录与我强制执行的模式不匹配时.schema(..)，如果记录的大小很大（我的是397KB），那么该记录将被重试1830次，多次测试。有没有人注意到这种奇怪的行为？

文章 2018-08-07 来自：开发者社区

Spark在不同集群中的运行架构

        Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Cli...

文章 2018-04-11 来自：开发者社区

Spark内核设计的艺术：架构设计与实现——前言

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/79001468 前言 为什么写这本书          给这本书写前言，让我想起了两年前给《深入理解Spark：核心思想与源码分析》一书写前言的经历。这让我...

Spark内核设计的艺术：架构设计与实现——前言
文章 2018-03-29 来自：开发者社区

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

本文来源于公众号【胖滚猪学编程】，转载请注明出处。 本文整合梳理了主流大数据生态圈中的组件：Hdfs+Yarn+HBase+Spark+Storm的单点故障问题的解决方案：构建HA（High Available）高可用架构。阅读本文之前，最好需要了解清楚各组件的架构原理。 单点故障的出现原因 首先一张图来了解下这些组件的架构： 我们可以发现：它们的共同特点就是都是主从结构。HDFS中的NameN....

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
文章 2017-11-20 来自：开发者社区

Spark 架构和组件集的简要概述

Spark 架构和组件集的简要概述 Flex 4 提供的 Spark 组件 Flex 4 目前提供各种 Spark 组件。Flex 的后续版本将提供更多 Spark 控件，与 MX 组件集并驾齐驱。要进一步了解各个 Spark 组件或控件的外观部件、状态和基类，请参阅 Adobe Flash Platform 的 ActionScript 3.0 参考文档或 Flex 文档的 Spark 容器和....

文章 2017-11-14 来自：开发者社区

Spark 概念学习系列之Apache Spark 架构详解（十）（必须好好理解悟透）

Spark的架构图如下：   　　　　　　　　　　           分别解释 　　1、Driver：运行 Application 的 main() 函数并且创建 SparkContext。 　　2、Client：用户提交作业的客户端。（类似于Hadoop里的Client） 　　3、Worker：集群中任何可以运行 Applicatio...

Spark 概念学习系列之Apache Spark 架构详解（十）（必须好好理解悟透）
文章 2017-11-13 来自：开发者社区

Spark SQL概念学习系列之Spark SQL 架构分析（四）

　Spark SQL 与传统 DBMS 的查询优化器 + 执行器的架构较为类似，只不过其执行器是在分布式环境中实现，并采用的 Spark 作为执行引擎。 Spark SQL 的查询优化是Catalyst，其基于 Scala 语言开发，可以灵活利用 Scala 原生的语言特性很方便进行功能扩展，奠定了 Spark SQL 的发展空间。 Catalyst 将 SQL 语言翻译成最终的执行计划，并在这....

文章 2017-11-03 来自：开发者社区

Spark Streaming概念学习系列之Spark Streaming 架构（二）

  　　 　　　　　　　　　　　　　　　　　　　　　　　　　　　图 1      Spark Streaming 架构图       Spark Streaming 组件介绍 　　 Network Input Tracker  通 过 接 收 器 接 收 流 数 据 并 将 流 数 据 映...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多架构相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注