文章 2025-03-20 来自:开发者社区

万字长文带你深入广告场景Paimon+Flink全链路探索与实践

作者介绍:黄超傑,蚂蚁数据智能部实时数据团队数据研发工程师,致力于数据湖技术在蚂蚁落地应用、蚂蚁广告实时数仓建设、蚂蚁数据成本治理等工作。 在开始之前 如果: 你想要提升数据时效,能够接受分钟级延迟 你好奇准实时相较离线、实时数据研发究竟能节约多少成本?...

万字长文带你深入广告场景Paimon+Flink全链路探索与实践
文章 2025-03-14 来自:开发者社区

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

摘要:本文整理自阿里妈妈的数据技术专家陈亮老师在 Flink Forward Asia 2024 流式湖仓(三)专场中的分享。分享的内容将分为三个部分:首先,介绍阿里妈妈广告业务的背景;其次,探讨阿里妈妈广告实时系统和数据湖架构的设计;最后,阐述我们在技术和业务层面从该架构中获得的收益。 一、业务背景 二、架构设计 三、整体收益 四、问答 一、业务背景 1.1 阿里妈妈广告业务介绍 ...

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
文章 2025-03-05 来自:开发者社区

Flink CDC + Hologres高性能数据同步优化实践

摘要:本文整理自阿里云高级技术专家胡一博老师在 Flink Forward Asia 2024 数据集成(二)专场中的分享。内容主要为以下四部分: Hologres 介绍 写入优化 消费优化 未来展望 一、Hologres 简介 首先,介绍一下 Hologres,它是一个实时数据仓库,能够提供一体化的分析和服务。分析即 OLAP,写入延迟基本可以达到毫秒级别,数据写入...

Flink CDC + Hologres高性能数据同步优化实践
文章 2025-03-01 来自:开发者社区

基于 Flink 进行增量批计算的探索与实践

摘要:本文整理自阿里云高级技术专家 Apache Flink PMC 朱翥老师,在 Flink Forward Asia 2024 流批一体(一)中的分享。内容主要分为三部分: 背景介绍 工作介绍 总结展望 本次分享的内容主要分为三个部分。首先,将探讨为何需要增量计算,以及为何选择 Apache Flink 进行增量计...

基于 Flink 进行增量批计算的探索与实践
文章 2025-03-01 来自:开发者社区

Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践

摘要:本文整理自中阿里云 DataWorks 数据集成团队陈吉通老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。内容分为以下四个部分: 1.阿里云 DataWorks 数据集成介绍 2.DataWorks 数据集成入湖解决方案的架构和原理 3.DataWorks 数据集成入湖场景的产品化案例分享 4.未来规划 01 阿里...

Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-03-01 来自:开发者社区

阿里云基于 Flink CDC 的现代数据栈云上实践

摘要:本文来自阿里云高级开发工程师,Apache Flink Committer 阮航老师分享的阿里云基于 Flink CDC 的现代数据栈云上实践。主要分为以下四个内容: 基于 Flink CDC 的现代数据栈 CDC YAML 核心功能 CDC YAML 典型应用场景 Demo & 未来展望 ...

阿里云基于 Flink CDC 的现代数据栈云上实践
文章 2025-02-19 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、未来展望 一、鹰角数据平台架构 首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。 1.1 ...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-01-14 来自:开发者社区

Flink CDC 在阿里云实时计算Flink版的云上实践

摘要:本文整理自阿里云高级开发工程师,Apache Flink Committer 阮航老师在 Flink Forward Asia 2024 生产实践(三)专场中的分享,主要分为以下四个方面: 一、Flink CDC & 实时计算 Flink 二、CDC YAML 核心功能 三、CDC YAML 典型应用场景 四、Demo & 未来规划 一、Flink CDC &am.....

Flink CDC 在阿里云实时计算Flink版的云上实践
文章 2025-01-07 来自:开发者社区

基于 Flink 进行增量批计算的探索与实践

摘要:本文整理自阿里云高级技术专家 Apache Flink PMC 朱翥老师,在 Flink Forward Asia 2024 流批一体(一)中的分享。内容主要分为三部分: 一、背景介绍 二、工作介绍 三、总结展望 本次分享的内容主要分为三个部分。首先,将探讨为何需要增量计算,以及为何选择 Apache Flink 进行增量计算的工作。第二部分将介绍当前的工作进展,以及增量计算的整体...

基于 Flink 进行增量批计算的探索与实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注