阿里云文档 2025-05-19

如何实现Flink+DLF数据入湖与分析

数据湖构建(DLF)可以结合阿里云实时计算Flink版(Flink VVP),以及Flink CDC相关技术,实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力,实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。

文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-02-19 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、未来展望 一、鹰角数据平台架构 首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。 1.1 ...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2024-07-28 来自:开发者社区

Flink在实时搜索引擎索引构建中的深度应用与实践

随着互联网的快速发展,信息量的爆炸式增长使得搜索引擎成为连接用户与信息的桥梁。传统搜索引擎依赖于定期批量更新索引的方式来反映数据源的变化,然而这种方式存在显著的延迟,无法满足用户对于实时信息的迫切需求。Apache Flink,作为一个高性能的流处理框架,以其卓越的实时数据处理能力,在实时搜索引擎索引构建中展现出...

阿里云文档 2024-07-17

Flink SQL开发调优实践

说明实时计算Flink版控制台界面和功能可能会发生变化,具体请以实际控制台为准。

文章 2022-02-17 来自:开发者社区

快手基于 Flink 构建实时数仓场景化实践

本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》,内容包括:快手实时计算场景快手实时数仓架构及保障措施快手场景问题及解决方案未来规划GitHub 地址 https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~一、快手实时计算场景快手业务中的实时计算场景主....

快手基于 Flink 构建实时数仓场景化实践
文章 2022-02-17 来自:开发者社区

Flink + Hudi 在 Linkflow 构建实时数据湖的生产实践

可变数据的处理一直以来都是大数据系统,尤其是实时系统的一大难点。在调研多种方案后,我们选择了 CDC to Hudi 的数据摄入方案,目前在生产环境可实现分钟级的数据实时性,希望本文所述对大家的生产实践有所启发。内容包括:背景CDC 和数据湖技术挑战效果未来计划总结一、背景Linkflow 作为客户数据平台(CDP),为企业提供从客户数据采集、分析到执行的运营闭环。每天都会通过一方数据采集端点(....

Flink + Hudi 在 Linkflow 构建实时数据湖的生产实践
文章 2022-02-17 来自:开发者社区

首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践

点击免费下载《Apache Flink 年度最佳实践》>>> 《Apache Flink 年度最佳实践》公开下载啦!首次一次性公布来自B站、美团点评、小米、快手、菜鸟、Lyft、Netflix 等精彩内容,9篇深度文章揭秘一线大厂实时平台构建实践。不容错过的精品电子书,大数据工程师必读实战“真经”! 
Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一...

首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践
文章 2022-02-17 来自:开发者社区

基于 Flink 构建 CEP 引擎的挑战和实践

作者:韩鹏@奇安信 背景及现状 奇安信集团作为一家网络安全公司,专门为政府、企业,教育、金融等机构和组织提供企业级网络安全技术、产品和服务,奇安信的 NGSOC 产品的核心引擎是一个 CEP 引擎,用于实时检测网络攻击,其技术演进过程如下图所示。 2015 年开始使用基于 Esper 的 CEP 方案,但是当时遇到了很多问题,其中最显著的是性能问题,因为 Esper 对于规则条目的支持数量不多.....

文章 2022-02-17 来自:开发者社区

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

作者 | 杨毅,穆超峰,贺小兵,胡夕 导读:当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mappi....

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注