Apache Flink fault tolerance源码剖析(一)
因某些童鞋的建议，从这篇文章开始结合源码谈谈Flink Fault Tolerance相关的话题。上篇官方介绍的翻译是理解这个话题的前提，所以如果你想更深入得了解Flink Fault Tolerance的机制，推荐先读一下前篇文章理解它的实现原理。当然原理归原理，原理体现在代码实现里并不是想象中的那么直观。这里的源码剖析也是我学习以及理解的过程。 作为源码解析Flink Fault To...
Apache Flink fault tolerance源码剖析(二)
继续Flink Fault Tolerance机制剖析。上一篇文章我们结合代码讲解了Flink中检查点是如何应用的（如何根据快照做失败恢复，以及检查点被应用的场景），这篇我们来谈谈检查点的触发机制以及基于Actor的消息驱动的协同机制。这篇涉及到一个非常关键的类——CheckpointCoordinator。 org.apache.flink.runtime.checkpoint.Check...
Apache Flink fault tolerance源码剖析(三)
上一篇文章我们探讨了基于定时任务的周期性检查点触发机制以及基于Akka的actor模型的消息驱动协同机制。这篇文章我们将探讨Zookeeper在Flink的Fault Tolerance所起到的作用。 其实，Flink引入Zookeeper的目的主要是让JobManager实现高可用（leader选举）。 因为Zookeeper在Flink里存在多种应用场景，本篇我们还是将重心放在Fault...
Apache Flink fault tolerance源码剖析(四)
上篇文章我们探讨了Zookeeper在Flink的fault tolerance中发挥的作用（存储/恢复已完成的检查点以及检查点编号生成器）。 这篇文章会谈论一种特殊的检查点，Flink将之命名为——Savepoint(保存点)。 因为保存点只不过是一种特殊的检查点，所以在Flink中并没有太多代码实现。但作为一个特性，值得花费一个篇幅来介绍。 检查点VS保存点 使用数据流API编写的程序可以.....
Apache Flink fault tolerance源码剖析(五)
上一篇文章我们谈论了保存点的相关内容，其中就谈到了保存点状态的存储。这篇文章我们来探讨用户程序状态的存储，也是在之前的文章中多次提及的state backend(中文暂译为状态终端)。 基于数据流API而编写的程序经常以各种各样的形式保存着状态： 窗口收集/聚合元素（这里的元素可以看作是窗口的状态）直到它们被触发 转换函数可能会使用key/value状态接口来存储数据 转换函数可能实...
Apache Flink fault tolerance源码剖析(六)
上篇文章我们分析了基于检查点的用户状态的保存机制——状态终端。这篇文章我们来分析barrier（中文常译为栅栏或者屏障，为了避免引入名称争议，此处仍用英文表示）。检查点的barrier是提供exactly once一致性保证的主要保证机制。这篇文章我们会就此展开分析。 这篇文章我们侧重于核心代码分析，原理我们在这个系列的第一篇文章《Flink数据流的Fault Tolerance机制》 一...
Apache Flink fault tolerance源码剖析完结篇
这篇文章是对Flinkfault tolerance的一个总结。虽然还有些细节没有涉及到，但是基本的实现要点在这个系列中都已提及。 回顾这个系列，每篇文章都至少涉及一个知识点。我们来挨个总结一下。 恢复机制实现 Flink中通常需要进行状态恢复的对象是operator以及function。它们通过不同的方式来达到状态快照以及状态恢复的能力。其中function通过实现Checkpointed的.....
Linux web服务安装apache 思路 （源码编译，自己定义服务）
1. 首先卸载系统里本身自带的httpd服务 2. 然后下载源码包 解压缩到src 源码包程序目录 3. 进入源码包（解压缩后的） 4. 配置 5. 编译 6. 安装 7.做成系统启动服务 直接解决依赖关系 共享window文件夹 [root@jack ~]#...
Apache源码编译安装详解
一、Apache含义 Apache HTTP Server（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用，是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展，将Perl/Python等解释器编译到服务器中。 二、yum源的配置 1、yum的定义： yum = Yellowdog Up.....
Apache源码包添加启动脚本到系统服务
手动编译apache源码包安装的话，apache是没有启动脚本的，也就是说用户不能通过简单的通过/etc/init.d/httpd(start|stop|restart)来启动/关闭/重新启动。 其实源码里已经有启动的脚本，我们要修改下即可，把Apache加入系统SysV服务中来。 在源码httpd-2.x.x/build/rpm中存在httpd.init &nb...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache更多源码相关
Apache您可能感兴趣
- Apache开源
- Apache架构
- Apache学习
- Apache shenyu
- Apache flink
- Apache函数
- Apache实践
- Apache doris
- Apache湖仓
- Apache湖仓一体
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache从入门到精通
- Apache kafka
- Apache hudi
- Apache应用
- Apache web
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注