实时计算 Flink版 - 物化表

新功能/规格
2024.12.20

实时计算Flink版产品正式推出物化表功能,旨在简化批处理和流处理数据管道,提供一致的开发体验。

适用客户

所有企业

新增功能/规格

实时计算Flink作为流批一体的计算引擎,致力于提供一套完整的技术方案来解决业务对数据不同时效性的要求。因此,我们在支持流批一体存储的Apache Paimon基础上提供了物化表能力。 物化表使用声明式的SQL,通过对表数据新鲜度的定义代替传统的流批描述,您仅需要声明数据需要刷新的频次,即可实现对数据的不同周期的刷新,具有降低ETL复杂度、实现作业流批的无缝切换、提供级联更新能力、显著提高物化表的数据更新性能等优势。 通过Flink物化表,您可以在数据湖上构建流批一体的计算能力,从而搭建一套新的数据开发范式,通过数据层、元数据层,计算层的统一,解决您在原有架构下,数据多份存储、数据口径对齐复杂、任务需要在不同引擎开发的痛点,实现真正的流批一体。 适合在Lambda架构造成数据口径对齐难、离线BI报表需要实时统计、实时大屏数据需要离线数据修正等场景快速落地物化表。