支持多数据源联合分析,解决跨多实例数据库关联和分库分表所带来的复杂问题,让分析师和数据工程师更专注于业务逻辑。通过物化视图构建轻量级 ETL 分析任务,省去复杂的数据任务编排,节省调度资源。同时具备在线分析和 ETL 计算一体化,实现大数据与数据库的融合,通过资源组隔离保证业务稳定运行。
支持数据实时增删改、具备在线分析和ETL 计算一体化,实现大数据与数据库的融合,通过资源组隔离保证业务稳定运行。
支持通过物化视图将用户定义的查询提前计算好,按用户要求自动刷新视图中的数据,加速复杂查询和简化 ETL 流程。
支持多数据源联合分析,解决跨多实例数据库关联和分库分表所带来的复杂问题,让用户可以更专注于业务逻辑。
本方案通过 DTS(数据传输服务)实现 MySQL 和云原生数据库 PolarDB 到云原生数据仓库 AnalyticDB MySQL 版的实时数据同步。DTS 提供全量校验和增量校验功能,确保数据同步的源端和目标端之间的数据一致性。在云原生数据仓库 AnalyticDB MySQL 版中创建 Job 型资源组 应用于高吞吐离线跑批场景、交互式资源组( Interactive 资源组)应用于在线场景或者交互式分析场景,最终由云原生数据仓库 AnalyticDB MySQL 版对外提供应用查询服务。
使用物化视图定时自动刷新功能,视图中已有运算好的数据,有利于快速查询,并生成报表。
利用增量物化视图的刷新机制,当有新订单或退货时,仅计算这部分数据对库存的影响,并即时更新。
结合数仓分层设计为大屏展示提供实时和离线数据支持,满足实时监控和决策需求。
本方案是基于开放可控数据湖仓构建的大数据/搜索/ AI 一体化解决方案。通过元数据管理平台 DLF 管理结构化和半/非结构化数据,提供湖仓数据表和文件的安全访问及 IO 加速。支持多引擎对接和平权协同计算,通过 DataWorks 统一开发,并保障大规模任务调度。
传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。