文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-02-19 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、未来展望 一、鹰角数据平台架构 首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。 1.1 ...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
阿里云文档 2024-07-17

Flink SQL开发调优实践

说明实时计算Flink版控制台界面和功能可能会发生变化,具体请以实际控制台为准。

文章 2023-08-07 来自:开发者社区

阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)

1. 上游数据准备上游数据以mysql为例作为hudi入湖的上游应用表,详细的建表、插入及更新语句如下droptable if exists `sunyf_db`.`flink_test_02_hudi`;createtable if not EXISTS `sunyf_db`.`flink_test_02_hudi`( id BIGINTnotnull PRIMARY KEY ,`name...

阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
文章 2023-07-26 来自:开发者社区

微信安全基于 Flink 实时特征开发平台实践

摘要:本文整理自腾讯专家级工程师李天旺,在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为四个部分: 背景介绍平台架构的实践线上运营的挑战质量保障 点击查看原文视频 & 演讲PPT 一、背景介绍 微信是国内较庞大而复杂的业务,平台上包括通讯、社交、短视频、支付、小程序、企业微信等等大...

微信安全基于 Flink 实时特征开发平台实践
文章 2023-07-13 来自:开发者社区

联通 Flink 实时计算平台化运维实践

摘要:本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享,本篇内容主要分为四个部分: 实时计算平台背景介绍 Flink 实时作业运维挑战 基于 StreamPark 一体化管理 未来规划与演进 点击查看原文视频 & 演讲PP...

联通 Flink 实时计算平台化运维实践
问答 2023-07-05 来自:开发者社区

想问一下 Flink中有在实时计算平台 flink sql 实现用户标签的实践吗?比如 想算一个用户

想问一下 Flink中有在实时计算平台 flink sql 实现用户标签的实践吗?比如 想算一个用户的 pv 那么能只算当天的结果么,也就意味着 第二天值要重新计算 ,再比如算一个用户的提单数,包含历史的,那么能 连接maxcompute 或者其他的么

文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践

作者:邸星星用户背景 汽车之家成立于2005年,致力于为消费者提供一站式的看车、买车、用车服务,提供优质的汽车消费和汽车生活服务。助力中国汽车产业蓬勃发展。在历经媒体化、平台化、智能化的转型后,全方位服务C端消费者和B1端主机厂、B2端汽车生态各类参与方全面融入平安车生态战略,打造车辆交易的完整闭环。 平台现状 汽车之家实时计算平台的应用场景与其他公司很类似,涵盖了实时指标统计、监控预警、实时数....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(1) https://developer.aliyun.com/article/1228280平台建设1. 预算资源管控和Flink自动伸缩容  为了提高资源利用率,汽车之家做的第一步就是启用预算的强控机制,与内部的资产云系统做对接并确定团队的可用预算,超出预算....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2) https://developer.aliyun.com/article/12282792. 建设湖仓一体 基于 Hive 的数据仓库主要存在以下几个痛点:   首先是时效性,目前基于 Hive 的数仓绝大部分是 t+1,数据产生后至少要一个小时才能在数仓....

《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(3)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注