云消息队列 Kafka 版 - 新增消息入湖能力
新功能/规格
2026.06.09
允许您将 Kafka Topic 中的实时消息自动、持续地写入 OSS Table Bucket（基于 Apache Iceberg 格式），无需额外部署 Flink 或 Spark 作业，即可实现流式数据入湖，构建 Lakehouse（湖仓一体）架构。
适用客户
适用于如下场景：
1. 实时数据湖构建：将用户点击流、IoT 传感器数据、交易日志等通过 Kafka 实时写入 OSS 表，数据湖中始终包含最新数据，支持近实时分析。
2. CDC 数据入湖：通过 Debezium 等工具捕获数据库变更并发送到 Kafka，消息入湖功能以 CDC 模式消费并合并（Upsert）到 Iceberg 表中，实现准实时数据同步。
3. 低成本历史数据归档：Kafka 中短期保留原始事件，OSS 长期存储结构化历史数据。结合 Iceberg 的分区和压缩策略，显著降低存储成本。
4. Exactly-Once 写入保障：入湖进度维护在 Kafka Leader 元数据中，彻底去除对外挂 KV 等外部系统的依赖，保证了强一致性，同时消除系统间耦合，极大简化了整体链路逻辑，避免数据重复或丢失，满足金融、交易等对数据准确性要求极高的场景。
新增功能/规格
消息入湖是云消息队列 Kafka 版提供的原生数据入湖能力。开启该功能后，写入 Topic 的消息在 Kafka 集群持久化的基础上，会同时以 Iceberg 表格式写入 OSS Table Bucket，供下游多种计算引擎（MaxCompute、Hologres、Spark、Trino 等）直接查询分析。
您无需自行开发和运维 ETL 流水线，即可实现从实时消息到结构化数据湖的端到端打通。