文章 2025-03-01 来自:开发者社区

Flink Materialized Table:构建流批一体 ETL

摘要:本文整理自阿里云智能集团 、Apache Flink Committer 刘大龙老师在 Flink Forward Asia 2024 流批一体(一)专场中的分享。主要分为以下三个方面: A User Story Of Data Engineer Materialized Table 构建流批一体 ETL Demo ...

Flink Materialized Table:构建流批一体 ETL
文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-02-19 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、未来展望 一、鹰角数据平台架构 首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。 1.1 ...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-02-14 来自:开发者社区

Flink Materialized Table:构建流批一体 ETL

摘要:本文整理自阿里云智能集团 、Apache Flink Committer 刘大龙老师在 2024FFA 流批一体论坛的分享。内容主要为以下三个部分: 一、A User Story Of Data Engineer 二、Materialized Table 构建流批一体 ETL 三、Demo 一、A User Story Of Data Engineer 如今,数据湖(Data L...

Flink Materialized Table:构建流批一体 ETL
阿里云文档 2025-01-21

物化表,物化表快速入门

本文将基于物化表,带您快速体验如何构建流批一体的湖仓分析处理链路,以及通过修改物化表新鲜度,完成由批到流的切换,实现数据的实时更新。

文章 2025-01-16 来自:开发者社区

用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

摘要:本文整理自用友畅捷通数据架构师王龙强在 FFA2024 分论坛-生产实践专场关于用友畅捷通在 Flink 上构建实时数仓、挑战与最佳实践的分享。内容主要为以下五部分: 一、业务背景 二、数仓建设 三、当前挑战 四、最佳实践 五、未来展望 用友旗下的畅捷通信息技术股份有限公司自 2010 年成立以来,经历了从传统软件服务向 SaaS 转型的历程,并逐步构建了自己的云服务平台。在...

用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
文章 2024-12-31 来自:开发者社区

实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓

一、实时计算架构相关介绍 1. 背景与问题提出 今天要分享的是关于实时计算的相关架构。我们以开放模式的数据服务为核心构建湖仓,整合各类数据统计到湖仓中。在这个过程中,无论是数据流量的管控还是基础构建的选择,都处于开放状态,这样可以支持多种不同的应用场景,用于产品分析。最终,这些数据还能为AI提供进一步分析和报表展示的基础。这种湖仓架构看似完美,但在实际运营中,往往会忽略一些细节,...

文章 2024-08-28 来自:开发者社区

基于RabbitMQ与Apache Flink构建实时分析系统

摘要 本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。 1. 引言 实时分析系统对于许多现代应用至关重要,比如金融交易、网络安全监控以及物联网(IoT)等。这些系统需要能够快速地处理并响应数据流中的变化。RabbitMQ是...

问答 2024-08-07 来自:开发者社区

为什么选择Flink和Iceberg来构建实时湖仓一体的架构?

为什么选择Flink和Iceberg来构建实时湖仓一体的架构?

问答 2024-07-30 来自:开发者社区

社区在 Flink 的哪个版本中针对构建执行图的问题进行了优化?

社区在 Flink 的哪个版本中针对构建执行图的问题进行了优化?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注