Tair KVCache 商业化暨开源发布会

深度解密 Tair 如何通过存算分离架构,联合 NVIDIA Dynamo AIConfigurator、RTP-LLM、Mooncake 等生态伙伴,打造“计算-存储-调度”一体化的 AI 基础设施。

直播间
发布议程

环节

发布主题

发布内容简介

分享嘉宾

14:00-14:10

《Tair KVCache 发展历程:从数据缓存到注意力状态缓存》

重点分享 Tair KVCache 的演进路径:Tair 如何从缓存数据库升级为 AI 基础设施核心组件,以及 KVCache 如何突破长文本推理的显存瓶颈,推动“以存代算”的新范式落地。

张为

阿里云数据库事业部,NoSQL 产品部负责人

14:10-14:20

《重磅开源: Tair KVCache Manager 架构解密》

重点分享专为大模型推理场景服务的全局 KVCache 管理服务背后的技术。深入剖析 KVCM 如何作为“全能管家”,通过统一元数据管理实现对 3FS、内存池等异构存储的统一纳管。

王悉宇

阿里云数据库事业部,Tair KVCache Manager 负责人

14:20-14:40

《决策大脑:Tair-KVCache-HiSim + NVIDIA Dynamo AIConfigurator 构建仿真与配置优化的最佳实践》

重点分享首个开源的高保真推理仿真器 HiSim,结合 AIConfigurator 全链路建模请求生命周期、多级 KVCache 行为与异构批处理执行,在通用 CPU 上以 39 万倍成本优势实现 <5% 误差的端到端性能预测,在“时延-吞吐-成本”的三角约束下,自动搜索出最优的软硬件配置组合,支持 KVCache 管理和配置的决策优化。

杜垠

阿里云基础设施事业部,高级技术专家

14:40-14:50

《推理框架对接:RTP 推理框架 & KVCache 应用实践》

阿里巴巴核心推理框架 RTP-LLM 团队(支撑淘宝/天猫核心业务)重点分享 KVCache 技术在超大规模生产环境中的落地实战,看 KVCM 如何助力推理引擎在长文本场景下实现吞吐量的倍数级提升。

石新飞

阿里巴巴,高级技术专家

14:50-15:10

《存储底座:Mooncake 架构集成 + Tair KVCache Manager 协同》

开源社区 Mooncake 团队重点分享 KVCM 如何与 Mooncake 分离式架构深度融合,利用 RDMA 与高并发访问特性,将 KVCache 的存取速度和存储容量推向物理极限,实现真正的“无限显存”。

马腾

阿里云智能集团,高级技术专家

15:10-15:30

《开箱即用:企业级 Tair KVCache 商业化服务》

重点分享新推出的 Tair KVCache 云服务,全面揭晓其产品形态、规格配置、接入方式与性能表现,并分享客户落地案例。通过开箱即用的托管能力,即可快速构建更稳定、更高效、更高性价比的专属 AI 推理平台。

郑毓斐

阿里云数据库事业部,Tair KVCache 产品经理

产品文档
产品官网
AI 时代的 KV 缓存 Tair KVCache:分布式动态分级缓存,突破显存瓶颈,加速大模型推理
查看详情
帮助文档
Tair KVCache 是面向大模型推理的缓存服务,可实现 GPU 服务器 HBM、DRAM 的池化管理,将 KVCache 由纯显存驻留升级为分级缓存架构。
查看详情
技术干货
KVCache 系列好文,系统性拆解面向智能体推理的 KVCache 技术演进路径。
了解更多
联系我们
钉钉扫码咨询
1. 第一时间掌握最新资讯
2. 左侧扫码或搜索群号:109765011301入群,与专家深入交流