文章 2025-06-06 来自:开发者社区

Flink在B站的大规模云原生实践

摘要:本文整理自哔哩哔哩资深开发工程师丁国涛老师,在 Flink Forward Asia 2024 云原生专场的分享。内容分为以下五个部分: 1、 背景介绍 2、 功能及稳定性优化 3、 性能优化 4、 运维优化 5、 未来展望 01.背景介绍 1.1 云原生化的优势 在Flink建设初期,由于Flink与Hadoop结合比较好,所以采用Flink On YARN架构。但是Fli...

Flink在B站的大规模云原生实践
文章 2025-05-16 来自:开发者社区

Flink x Paimon 在抖音集团生活服务的落地实践

摘要:本文整理自抖音集团数据工程师陆魏老师和流式计算工程冯向宇老师,在Flink Forward Asia 2024 流式湖仓(二)专场的分享。内容分为以下三个部分: 1、背景及现状 2、Paimon湖仓实践 3、Paimon技术优化 01. 背景及现状 抖音生活服务是抖音集团重要的业务板块,主要通过抖音直播、短视频、团购以及本地同城等流量入口,引导用户进行线上下单支付,并进而引导用户线...

Flink x Paimon 在抖音集团生活服务的落地实践
文章 2025-05-08 来自:开发者社区

网易游戏 Flink 云原生实践

摘要:本文整理自网易游戏实时计算&数据湖平台负责人林小铂老师和网易游戏大数据开发工程师陈宇智老师,在Flink Forward Asia 2024 云原生专场的分享。主要分为四个部分: 1、背景 2、架构演进 3、实践挑战 4、总结和展望 01.背景 Flink 在网易游戏的资源管理发展主要分为以下三个阶段。第一阶段是在2018年的时候;最开始是使用 Yarn 作为 Flin...

网易游戏 Flink 云原生实践
文章 2025-04-18 来自:开发者社区

京东物流基于Flink & StarRocks的湖仓建设实践

摘要:本文整理自京东物流高级数据开发工程师梁宝彬先生在 Flink Forward Asia 2024 论坛中的分享。内容主要为以下四个部分: 1、实时湖仓探索与建设 2、实时湖仓应用 3、问题与思考 4、未来展望 今天,将分享的主题大纲包括:首先,从京东物流的湖仓建设出发,探讨其整体思路与建设过程;其次,介绍京东物流实时湖仓的应用,以及实时团队在场景和业务支持方面的实践;第三,对遇到...

京东物流基于Flink & StarRocks的湖仓建设实践
文章 2025-03-20 来自:开发者社区

万字长文带你深入广告场景Paimon+Flink全链路探索与实践

作者介绍:黄超傑,蚂蚁数据智能部实时数据团队数据研发工程师,致力于数据湖技术在蚂蚁落地应用、蚂蚁广告实时数仓建设、蚂蚁数据成本治理等工作。 在开始之前 如果: 你想要提升数据时效,能够接受分钟级延迟 你好奇准实时相较离线、实时数据研发究竟能节约多少成本?...

万字长文带你深入广告场景Paimon+Flink全链路探索与实践
文章 2025-03-14 来自:开发者社区

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

摘要:本文整理自阿里妈妈的数据技术专家陈亮老师在 Flink Forward Asia 2024 流式湖仓(三)专场中的分享。分享的内容将分为三个部分:首先,介绍阿里妈妈广告业务的背景;其次,探讨阿里妈妈广告实时系统和数据湖架构的设计;最后,阐述我们在技术和业务层面从该架构中获得的收益。 一、业务背景 二、架构设计 三、整体收益 四、问答 一、业务背景 1.1 阿里妈妈广告业务介绍 ...

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
文章 2025-03-05 来自:开发者社区

Flink CDC + Hologres高性能数据同步优化实践

摘要:本文整理自阿里云高级技术专家胡一博老师在 Flink Forward Asia 2024 数据集成(二)专场中的分享。内容主要为以下四部分: Hologres 介绍 写入优化 消费优化 未来展望 一、Hologres 简介 首先,介绍一下 Hologres,它是一个实时数据仓库,能够提供一体化的分析和服务。分析即 OLAP,写入延迟基本可以达到毫秒级别,数据写入...

Flink CDC + Hologres高性能数据同步优化实践
文章 2025-03-01 来自:开发者社区

基于 Flink 进行增量批计算的探索与实践

摘要:本文整理自阿里云高级技术专家 Apache Flink PMC 朱翥老师,在 Flink Forward Asia 2024 流批一体(一)中的分享。内容主要分为三部分: 背景介绍 工作介绍 总结展望 本次分享的内容主要分为三个部分。首先,将探讨为何需要增量计算,以及为何选择 Apache Flink 进行增量计...

基于 Flink 进行增量批计算的探索与实践
文章 2025-03-01 来自:开发者社区

Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践

摘要:本文整理自中阿里云 DataWorks 数据集成团队陈吉通老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。内容分为以下四个部分: 1.阿里云 DataWorks 数据集成介绍 2.DataWorks 数据集成入湖解决方案的架构和原理 3.DataWorks 数据集成入湖场景的产品化案例分享 4.未来规划 01 阿里...

Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注