产品功能

通过存储和复用历史KV Cache，避免推理服务中重复计算的开销。显著缩短首个Token生成时间（TTFT），提升推理延迟表现和服务响应速度。

根据底层互联特性，提供高效数据交互机制实现高带宽的KVCache共享。支持多节点协同的高频数据通信，优化数据传输效率，实现在跨节点的分布式推理场景中的高效数据传输。

通过显存-内存-SSD分级存储体系，将数据与计算资源解耦，实现了显存与算力的独立管理。且当推理过程中GPU节点的模型参数或者KV缓存超出容量限制时，进行动态卸载，有效增加批处理大小，提升吞吐能力。通过资源利用率的提升，显著降低GPU资源占用成本。

对接主流开源推理引擎，基于推理引擎提供的PD分离技术，将计算和访存需求分配至适配的硬件资源，并实现P和D之间高效率的KVCache传输，既优化大语言模型推理的资源利用率，也提升整体推理效率，满足了高性能推理的需求。

基于Redis接口实现漏桶算法等动态限流控制策略，在高并发场景下保护推理引擎资源不被恶意或异常流量耗尽，提高关键请求的服务质量。

数据亲和性管理，通过优化的智能路由，减少跨节点或跨机架的数据传输，降低网络带宽竞争，提升分布式推理的效率和吞吐能力。

支持阻塞式读取（等待新任务到达）或批量拉取，避免频繁轮询。多个推理引擎消费者属于同一任务时，内存队列Stream会自动将消息分配给不同消费者，实现并行处理。每个消费者独立维护未确认消息列表，确保任务不会被重复消费。

可以利用内存的Hash结构来满足：快速存取 -- 毫秒级响应，避免对话卡顿；上下文关联 -- 支持按会话ID（Session ID）快速检索完整历史；高并发支持 -- 应对海量用户同时发起对话。