文章 2025-06-06 来自:开发者社区

Flink在B站的大规模云原生实践

摘要:本文整理自哔哩哔哩资深开发工程师丁国涛老师,在 Flink Forward Asia 2024 云原生专场的分享。内容分为以下五个部分: 1、 背景介绍 2、 功能及稳定性优化 3、 性能优化 4、 运维优化 5、 未来展望 01.背景介绍 1.1 云原生化的优势 在Flink建设初期,由于Flink与Hadoop结合比较好,所以采用Flink On YARN架构。但是Fli...

Flink在B站的大规模云原生实践
阿里云文档 2025-05-19

如何实现Flink+DLF数据入湖与分析

数据湖构建(DLF)可以结合阿里云实时计算Flink版(Flink VVP),以及Flink CDC相关技术,实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力,实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。

文章 2025-05-08 来自:开发者社区

网易游戏 Flink 云原生实践

摘要:本文整理自网易游戏实时计算&数据湖平台负责人林小铂老师和网易游戏大数据开发工程师陈宇智老师,在Flink Forward Asia 2024 云原生专场的分享。主要分为四个部分: 1、背景 2、架构演进 3、实践挑战 4、总结和展望 01.背景 Flink 在网易游戏的资源管理发展主要分为以下三个阶段。第一阶段是在2018年的时候;最开始是使用 Yarn 作为 Flin...

网易游戏 Flink 云原生实践
文章 2024-08-02 来自:开发者社区

"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"

随着大数据产品云原生化的加速推进,云原生集群的规模和数量急剧增加,这给运维工作带来了前所未有的挑战。为了有效应对这些挑战,阿里云大数据团队结合Apache Flink与自研的Paimon数据湖解决方案,构建了一套实时云原生运维数仓,显著提升了运维能力和数据处理的实时性。本文将通过实际案例分析,详细阐述Flink&...

阿里云文档 2024-07-17

Flink SQL开发调优实践

说明实时计算Flink版控制台界面和功能可能会发生变化,具体请以实际控制台为准。

文章 2024-07-09 来自:开发者社区

Flink+Paimon在阿里云大数据云原生运维数仓的实践

1. 背景 随着大数据产品云原生化的推进,云原生集群的规模和数量都在增加,云原生集群的运维难度也在不断增加,云原生集群的资源审计、资源拓扑、资源趋势的需要就比较迫切。云原生集群的资源审计主要是 node 资源、pod 资源,如当前集群的 node 数量以及Pod 数量;资源拓扑主要构建用户->实例->pod->node->集群的关联关系,例如一个公有云用户,提供给运维团.....

Flink+Paimon在阿里云大数据云原生运维数仓的实践
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)

作者:何军用户背景 小红书是年轻人的生活方式平台,由毛文超和瞿芳于2013年在上海创立。小红书以“Inspire Lives 分享和发现世界的精彩”为使命,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式,并基于兴趣形成互动。截至到2019年10月,小红书月活跃用户数已经过亿,其中70%用户是90后,并持续快速增长。 平台现状 小红书的Flink集群多云部署架构如上图所示,由于小红书的业....

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1) https://developer.aliyun.com/article/1228082生产实践1. Helm 集群管理模式  在正式迁入到 Native Flink on K8s 之前很长一段时间内,小红书都是基于 Helm 来进行集....

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2) https://developer.aliyun.com/article/12280802. Native Flink on Kubernetes 小红书书选择Native Flink on K8s部署模式的原因是因为它具备如下三个特征: &...

《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(上)

作者:付海涛用户背景 京东集团定位于“以供应链为基础的技术与服务企业”,目前业务已涉及零售、数字科技、物流、技术服务、健康、保险、物流地产、云计算、AI和海外等领域,其中核心业务为零售、数字科技、物流、技术服务四大板块。 平台建设 在 2017 年左右,京东实时计算是多个引擎并存的,包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink,其中 Storm 集群....

《Apache Flink 案例集(2022版)》——4.云原生——京东-Flink on K8s 在京东的持续优化实践(上)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注