| | | |
14:00-14:10 | 《Tair KVCache 发展历程:从数据缓存到注意力状态缓存》 | 重点分享 Tair KVCache 的演进路径:Tair 如何从缓存数据库升级为 AI 基础设施核心组件,以及 KVCache 如何突破长文本推理的显存瓶颈,推动“以存代算”的新范式落地。 | 张为 阿里云数据库事业部,NoSQL 产品部负责人 |
|---|
14:10-14:20 | 《重磅开源: Tair KVCache Manager 架构解密》 | 重点分享专为大模型推理场景服务的全局 KVCache 管理服务背后的技术。深入剖析 KVCM 如何作为“全能管家”,通过统一元数据管理实现对 3FS、内存池等异构存储的统一纳管。 | 王悉宇 阿里云数据库事业部,Tair KVCache Manager 负责人 |
|---|
14:20-14:40 | 《决策大脑:Tair-KVCache-HiSim + NVIDIA Dynamo AIConfigurator 构建仿真与配置优化的最佳实践》 | 重点分享首个开源的高保真推理仿真器 HiSim,结合 AIConfigurator 全链路建模请求生命周期、多级 KVCache 行为与异构批处理执行,在通用 CPU 上以 39 万倍成本优势实现 <5% 误差的端到端性能预测,在“时延-吞吐-成本”的三角约束下,自动搜索出最优的软硬件配置组合,支持 KVCache 管理和配置的决策优化。 | 杜垠 阿里云基础设施事业部,高级技术专家 |
|---|
14:40-14:50 | 《推理框架对接:RTP 推理框架 & KVCache 应用实践》 | 阿里巴巴核心推理框架 RTP-LLM 团队(支撑淘宝/天猫核心业务)重点分享 KVCache 技术在超大规模生产环境中的落地实战,看 KVCM 如何助力推理引擎在长文本场景下实现吞吐量的倍数级提升。 | 石新飞 阿里巴巴,高级技术专家 |
|---|
14:50-15:10 | 《存储底座:Mooncake 架构集成 + Tair KVCache Manager 协同》 | 开源社区 Mooncake 团队重点分享 KVCM 如何与 Mooncake 分离式架构深度融合,利用 RDMA 与高并发访问特性,将 KVCache 的存取速度和存储容量推向物理极限,实现真正的“无限显存”。 | 马腾 阿里云智能集团,高级技术专家 |
|---|
15:10-15:30 | 《开箱即用:企业级 Tair KVCache 商业化服务》 | 重点分享新推出的 Tair KVCache 云服务,全面揭晓其产品形态、规格配置、接入方式与性能表现,并分享客户落地案例。通过开箱即用的托管能力,即可快速构建更稳定、更高效、更高性价比的专属 AI 推理平台。 | 郑毓斐 阿里云数据库事业部,Tair KVCache 产品经理 |
|---|