文章 2024-06-21 来自:开发者社区

Flink中异步AsyncIO的实现 (源码分析)

先上张图整体了解Flink中的异步io 阿里贡献给flink的,优点就不说了嘛,官网上都有,就是写库不会柱塞性能更好 然后来看一下, Flink 中异步io主要分为两种   一种是有序Ordered   一种是无序UNordered 主要区别是往下游output的顺序(注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的),有序的会按接收的顺序...

Flink中异步AsyncIO的实现 (源码分析)
文章 2023-11-21 来自:开发者社区

Flink SQL代码补全提示(源码分析)

01 引言使用过Navicat的童鞋都知道,当我们写SQL的时候,工具会根据我们输入的内容弹出提示,这样可以很方便我们去写SQL,如下:Flink也是支持SQL的,当然它也有对应的接口支持SQL提示,本文来讲讲。02 案例2.1 源码案例Flink源码里面已经有代码提示的demo了,具...

Flink SQL代码补全提示(源码分析)

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
319 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
946 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
512 人已学 |
免费
开发者课程背景图
文章 2023-08-15 来自:开发者社区

Flink进行Paimon写入源码分析

1. 前言 Paimon的前身是Flink-Table-Store,希望提供流批一体的存储,提供一定的OLAP查询能力(基于列式存储),做到毫秒级别的实时流式读取。Flink-Table-Store希望能够支持Flink SQL的全部概念,能够结合Flink SQL提供DB级别体验,并且支持大规模的更新。Flink-Table-Store希望能够结合Flink,实现完整的流批一体体验(计算+存.....

Flink进行Paimon写入源码分析
文章 2023-08-15 来自:开发者社区

Flink进行Hudi写入源码分析

1.前言 Flink是流计算领域的佼佼者,Hudi在数据湖领域的热度一直很高,两者的结合也是很多公司的选择。如果要深入了解Flink + Hudi技术的应用或者性能调优,那么了解源码中的原理会对我们有很大的帮助,本文主要围绕着Flink对Hudi的写入流程进行分析,从而去理解Hudi中的各种核心概念,像Copy-on-Write(COW)、Merge-on-Read(MOR)、File Lay.....

Flink进行Hudi写入源码分析
文章 2022-10-10 来自:开发者社区

Flink SQL代码补全提示(源码分析)

01 引言Flink 源码地址: https://github.com/apache/flink使用过Navicat的童鞋都知道,当我们写SQL的时候,工具会根据我们输入的内容弹出提示,这样可以很方便我们去写SQL,如下:Flink也是支持SQL的,当然它也有对应的接口支持SQL提示,...

Flink SQL代码补全提示(源码分析)
文章 2022-06-13 来自:开发者社区

【Flink】(05)Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析3

4.4 reduce 转换reduce转换的入参是一个ReduceFunction的具体实现,这里的逻辑就是对收到的WordWithCount实例集合,将其中word字段相同的实际的count值累加。public SingleOutputStreamOperator<T> reduce(ReduceFunction<T> function) {...

【Flink】(05)Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析3
文章 2022-06-13 来自:开发者社区

【Flink】(05)Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析2

四、操作数据流进行具体的转换操作:DataStream<WordWithCount> windowCounts = text .flatMap(new FlatMapFunction<String, WordWithCount>() { @Override public void...

文章 2022-06-13 来自:开发者社区

【Flink】(05)Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析1

文章目录一、前言二、代码部分三、构建数据源四、操作数据流4.1 flatMap 转换4.2 keyBy 转换4.3 timeWindow 转换4.4 reduce 转换五、输出统计结果一、前言本文主要是根据一段简单的 SocketWindowWordCount 代码,进而对 Flink 的执行过程进行剖析。话不多说,直接上代码 …二、代码部分public class ...

【Flink】(05)Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析1
文章 2022-06-08 来自:开发者社区

Flink 1.13.0 sql-client 新特性及源码分析

在 Flink 1.13.0 版本中增加了很多新特征,具体可以参考前面一篇文章,其中很重要的一点是对 sql-client 功能做了加强,支持了初始化脚本和执行 SQL 文件,SQL 客户端是直接运行和部署 SQL 流和批处理作业的便捷方法,而无需从命令行或作为 CI 的一部分来编写任何代码,这个版本大大改进了 SQL 客户端的功能。现在,SQL 客户端和SQL 脚本...

Flink 1.13.0 sql-client 新特性及源码分析
文章 2022-06-08 来自:开发者社区

Java SPI 机制在 Flink 中的应用(源码分析)

我们在使用 Flink SQL 的时候是否有过这样的疑问? Flink 提供了各种各样的 connector 我们只需要在 DML 里面定义即可运行,那它是怎么找到要执行的代码呢? 它是怎么知道代码对应关系的呢? 其实 Flink 是通过 Java 的 SPI(并不是Flink发明创造的) 机制来实现的,下面就来深入源码分析一下其实现过程.什么是 SPI ?SPI 全称(Servi...

Java SPI 机制在 Flink 中的应用(源码分析)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注