表格存储 - 表格存储支持数据投递数据湖OSS
新功能/规格
2020.10.14
表格存储数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储,以满足更低成本的历史数据存储,以及更大规模的离线和准实时数据分析
适用客户
冷热数据分层
数据湖投递结合表格存储的数据生命周期功能,可以快速实现OSS低成本存储全量数据,表格存储提供热数据的低延迟查询和分析的需求。
全量数据备份
数据湖投递可以自动将表格存储的全表数据投递到OSS Bucket中,作为备份归档数据。
大规模实时数据分析
数据湖投递可以实时(每2分钟)投递增量的表格存储数据到OSS,投递的数据支持按系统时间分区、Parquet列存格式存储;再利用OSS的高读带宽和列存面向扫描场景优化实现高效实时数据分析。
加速SQL分析性能
当表格存储数据未建立多元索引且查询条件中不包含主键列的过滤条件时,可以通过数据投递自动同步数据到OSS,再利用DLA+OSS数据扫描实现SQL分析加速。
新增功能/规格
数据湖投递的主要功能特性如下:
1. 数据湖投递会自动拉取表格存储的全量和增量数据,数据积累到合适大小或者投递超过2分钟后,持久化到OSS中存储。
2. 支持配置增量、全量、全量&增量三种数据投递模式,投递的所有数据均按照Parquet列存格式存储。
3. 支持监控实时投递的同步时间点,数据湖投递提供了DescribeDeliveryTask API,该API会返回任务已成功投递的实时数据位点。