阿里云文档 2025-09-11

如何通过Flink CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据

AnalyticDB for PostgreSQL提供自研的CDC连接器,基于PostgreSQL的逻辑复制功能实现订阅全量和增量数据,可与Flink无缝集成。该连接器能够高效捕获源表的实时变更数据,支持实时数据同步、流式处理等,助力企业快速响应动态数据需求。本文介绍如何通过阿里云实时计算Flink版CDC实时订阅AnalyticDB for PostgreSQL的全量和增量数据。

阿里云文档 2025-04-24

刷新物化视图

物化视图常用来加速复杂查询或者简化ETL流程,其本质是将用户定义的查询提前计算好,按用户要求刷新视图中的数据。您可以根据基表的写入模式、物化视图查询(query_body)的SQL计算复杂度,以及对物化视图数据时效性的预期,定义物化视图的刷新策略。

阿里云文档 2025-01-17

使用DTS同步数据时是否会自动同步增量数据

Q:使用DTS(数据传输服务)同步数据到云原生数据仓库 AnalyticDB PostgreSQL 版实例时,全量数据同步任务结束后是否会自动转为增量数据同步任务?云原生数据仓库 AnalyticDB PostgreSQL 版A:如果您的任务为数据同步任务,在全量数据同步任务结束后会自动开始同步增量...

问答 2024-08-20 来自:开发者社区

构建实时增量数仓的关键是什么?

构建实时增量数仓的关键是什么?

问答 2024-08-13 来自:开发者社区

B站在增量化数仓和流批一体上有哪些尝试?

B站在增量化数仓和流批一体上有哪些尝试?

阿里云文档 2024-07-02

Hudi CDC功能的参数和使用示例

本文为您介绍Hudi CDC功能的相关参数和使用示例。

阿里云文档 2024-05-11

Delta Lake CDC功能的相关参数,Schema和使用示例

本文为您介绍Delta Lake CDC功能的相关参数、Schema和使用示例。

文章 2023-11-03 来自:开发者社区

美团增量数仓建设新进展

01美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设:“随着业务数据越积越多,增量数据 / 存量数据 的比值呈下降趋势,采用增量计算模式性价比更高。”当然也与底层技术的发展有很强的相关性,Flink、Hudi 等具备增量计算、更新能力的技术框架,为增量数仓落地的提供了必要条件。从时间线上看,增量数仓架构的演进过程可大致划分为三个阶段:第一个阶段,2019 到 2020 年。这个阶段,....

美团增量数仓建设新进展
文章 2023-08-22 来自:开发者社区

美团增量数仓建设新进展

摘要:本文整理自美团系统研发工程师汤楚熙,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分: 建设背景 核心能力设计与优化 业务实践 未来展望 点击查看原文视频 & 演讲PPT 一、美团增量数仓的建设背景 美团数仓架构的诞生是基于这样的技术假设:“随着业务数据越积越多,增量数据 / 存量数据 的比值呈下降...

美团增量数仓建设新进展
文章 2023-02-17 来自:开发者社区

基于数据湖格式构建流式增量数仓—CDC

摘要:本文整理自阿里云开源大数据平台技术专家毕岩(寻径)在 Apache Con ASIA 的分享。本篇内容主要分为四个部分:湖格式& Hudi & CDC湖格式设计实现 CDC 的思考Hudi CDC 实现湖格式 Streaming 的优化2021年中 Databricks 发布了一篇基于 Delta Lake 实现 CDC 场景的介绍文档,2022年初我们在阿里云EMR 内部....

基于数据湖格式构建流式增量数仓—CDC

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云原生数据仓库AnalyticDB

定期发送云原生数据仓库AnalyticDB产品重大发布和技术干货

+关注