文章 2025-03-14 来自:开发者社区

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

摘要:本文整理自阿里妈妈的数据技术专家陈亮老师在 Flink Forward Asia 2024 流式湖仓(三)专场中的分享。分享的内容将分为三个部分:首先,介绍阿里妈妈广告业务的背景;其次,探讨阿里妈妈广告实时系统和数据湖架构的设计;最后,阐述我们在技术和业务层面从该架构中获得的收益。 一、业务背景 二、架构设计 三、整体收益 四、问答 一、业务背景 1.1 阿里妈妈广告业务介绍 ...

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
文章 2023-09-21 来自:开发者社区

Flink Batch SQL Improvements on Lakehouse

本文整理自阿里云研发工程师刘大龙(风离),在 Streaming Lakehouse Meetup 的分享。内容主要分为三个部分: Flink Batch on Paimon 挑战 Flink Batch 核心优化 后续规划 点击查看原文视频 & 演讲PPT 一、Flink Batch on Paimon 挑战 众所周知,Paimon 在创立之初就是...

Flink Batch SQL Improvements on Lakehouse
文章 2022-11-26 来自:开发者社区

基于flink 的LakeHouse 2.0湖仓一体架构

简介Lakehouse 是一种结合了数据湖和数据仓库优势的新范式,解决了数据湖的局限性。Lakehouse 使用新的系统设计:直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。如果你现在需要重新设计数据仓库,现在有了廉价且高可靠(以对象存储的格式)的存储可用,不妨考虑使用 Lakehouse。Lakehouse有如下关键特性:事物支持:Lakehouse 在企业级应用中....

基于flink 的LakeHouse 2.0湖仓一体架构
文章 2022-11-26 来自:开发者社区

基于flink 的LakeHouse湖仓一体平台

介绍Flink CDCCDC全称是Change Data Capture,捕获变更数据,是一个比较广泛的概念,只要是能够捕获所有数据的变化,比如数据库捕获完整的变更日志记录增、删、改等,都可以称为CDC。该功能被广泛应用于数据同步、更新缓存、微服务间同步数据等场景,本文主要介绍基于Flink CDC在数据实时同步场景下的应用。通过以上分析,基于Flink SQL CDC的数据同步有如下优点:业务....

基于flink 的LakeHouse湖仓一体平台

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注