阿里云文档 2025-09-09

如何使用Flink的VVP平台同步MySQL数据到E-MapReduce的StarRocks

本文为您介绍如何使用阿里云实时计算Flink的VVP平台同步MySQL数据到E-MapReduce的StarRocks。

文章 2025-03-01 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 鹰角数据平台架构 数据湖选型 湖仓一体建设 未来展望 01鹰角数据平台架构 首先给大家介绍一...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
文章 2025-02-19 来自:开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要:本文整理自鹰角大数据开发工程师,Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。主要分为以下四个部分: 一、鹰角数据平台架构 二、数据湖选型 三、湖仓一体建设 四、未来展望 一、鹰角数据平台架构 首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前,关于鹰角我先给大家做简单的介绍。 1.1 ...

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
阿里云文档 2024-07-26

基于Flink平台同步MySQL数据至StarRocks

CTAS可以实现单表的结构和数据同步,CDAS可以实现整库同步或者同一库中的多表结构和数据同步。本文为您介绍如何使用实时计算Flink平台和E-MapReduce StarRocks通过CTAS&CDAS功能实现实时数仓中TP(Transaction Processing)和AP(Analytical Processing)数据同步的场景。

文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(1)

作者:李辉用户背景 伴鱼是一个创新驱动的互联网+教育公司,也是一个基于互联网的在线学习平台,致力于打造一个自适应学习 Adaptive Learning + 社会化学习 Social Learning 的完整语言学习环境。 业务需求目前伴鱼内部数据的集成需求主要体现在三块:Stat Log (业务标准化日志或称统计日志)、TiDB 及 MongoDB。另外,由于实时数仓正处于建设过程中,目前数据....

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(1)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(2)

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(1) https://developer.aliyun.com/article/1228434用户提交集成任务后将同步创建三个任务:  增量任务 (流):增量任务将 DB 日志数据由 Kafka 同步至 Hive。由于采集组件都是按照集群粒度进行采集,且集群数....

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(3)

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(2) https://developer.aliyun.com/article/12284312. Merge任务  Merge 任务的前提是存量数据与增量数据都已经 ready,通过 _SUCCESS 文件进行标记。整个Merge 任务的工作流如下图所示: ....

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(3)
问答 2022-08-31 来自:开发者社区

伴鱼如何基于Flink构建数据集成平台的设计与实现?

伴鱼如何基于Flink构建数据集成平台的设计与实现?

文章 2022-02-17 来自:开发者社区

使用 Flink Hudi 构建流式数据湖平台

摘要:本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 的分享。主要内容包括:Apache Hudi 101Flink Hudi IntegrationFlink Hudi Use CaseApache Hudi RoadmapFFA 2021 直播回放 & 演讲 PDF 下载一、Apache Hudi 1....

使用 Flink Hudi 构建流式数据湖平台
文章 2022-02-17 来自:开发者社区

江铃汽车基于 Flink 构建数据集成平台的设计与实现

江铃汽车股份有限公司成立于1968年,是中国TOP 20 汽车制造厂商,同时也是《财富》中国企业500强。江汽车建立了研发、物流、销售服务和金融支持等符合国际规范的体制和运行机制,成为中国本地企业与外资合作成功的典范。 在大数据建设方面江铃汽车选择跟阿里云强强合作,通过阿里云实时计算平台帮助公司了构建统一是实时计算中心,并服务于车辆中心,智慧车队,实时大屏多个业务线和多个实时场景,实现了实时业务....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注