问答 2022-08-29 来自:开发者社区

Hologres+Flink+MaxCompute 的流批一体实时数仓建设架构有什么好处?

Hologres+Flink+MaxCompute 的流批一体实时数仓建设架构有什么好处?

问答 2022-08-26 来自:开发者社区

mysql开启gtid模式的主从架构下, flink cdc 从库A 切换到主库B,会自动从 g

mysql开启gtid模式的主从架构下, flink cdc 从库A 切换到主库B,会自动从 gtid 启动?

文章 2022-06-11 来自:开发者社区

【Flink】(二)详解 Flink 运行架构

写在前面:我是「云祁」,一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁,或雨于渊 ] ,甚是喜欢。写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发 感兴趣,可以关注我的动态 https://blog.csdn.net/BeiisBei....

【Flink】(二)详解 Flink 运行架构
文章 2022-05-27 来自:开发者社区

Flink 1.15 新功能架构解析:高效稳定的通用增量 Checkpoint

作者 | 梅源(Yuan Mei)& Roman Khachatryan流处理系统最重要的特性是端到端的延迟,端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间。Flink,作为流式计算的标杆,其端到端延迟包括容错的快慢主要取决于检查点机制(Checkpointing),所以如何将 Checkpoint 做得高效稳定是 Flink 流计算的首要任务。我们在 “Flink 新.....

Flink 1.15 新功能架构解析:高效稳定的通用增量 Checkpoint
文章 2022-05-26 来自:开发者社区

深入浅出总结Flink运行时架构。

一、Flink运行时各个组件介绍Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 实现的,所以所有组件都会运行在Java 虚拟机上。接下来对各个组件的功能进行....

深入浅出总结Flink运行时架构。
文章 2022-05-17 来自:开发者社区

Flink架构原理

(1)Flink应用场景实际生产的场景,如金融交易数据、互联网订单数据、GPS定位数据、传感器信号、启动终端生产的数据、通讯信号数据等,以及我们熟悉的网络流量监控、服务器产生的日志数据,这些数据最大的共同点就是实时从不同的数据源产生,然后在传输到下游的分析系统。针对这些数据类型主要包括:实时智能推算智能推算会根据用户历史的购买行为,通过推荐算法训练模型,预测用户未来可能会购买的物品。复杂事件处理....

Flink架构原理
文章 2022-04-27 来自:开发者社区

Flink 的运行架构详细剖析

1. Flink 程序结构Flink 程序的基本构建块是流和转换(请注意,Flink 的 DataSet API 中使用的 DataSet 也是内部流 )。从概念上讲,流是(可能永无止境的)数据记录流,而转换是将一个或多个流作为一个或多个流的操作。输入,并产生一个或多个输出流。Flink 应用程序结构就是如上图所示:Source: 数据源,Flink 在流处理和批处理上的 source 大概有 ....

Flink 的运行架构详细剖析
文章 2022-04-26 来自:开发者社区

Flink 的应用场景和架构模型

实时计算最好的时代在过去的十年里,面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm,再到 Spark 的异军突起,迅速占领了整个实时计算领域。直到 2019 年 1 月底,阿里巴巴内部版本 Flink 正式开源!一石激起千层浪,Flink 开源的消息立刻刷爆朋友圈,整个大数据计算领域一直以来由 Spark 独领风骚,瞬间成为两强争霸的时代。Apache Flink(以下简称 Fl....

Flink 的应用场景和架构模型
问答 2022-04-01 来自:开发者社区

客如云实时计算平台架构是什么样的?

客如云实时计算平台架构是什么样的?

问答 2022-03-25 来自:开发者社区

通过云速搭部署 Flink 应用的架构设计步骤有哪些?

通过云速搭部署 Flink 应用的架构设计步骤有哪些?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注