ai容器服务Kubernetes版的相关内容

阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化，进一步减少了推理阶段的显存占用，从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-04-25

使用ACK Gateway with Inference Extension实现生成式AI推理服务灰度发布

通过ACK Gateway with Inference Extension组件，您可以在生成式AI推理服务中实现更换、升级使用的基础模型或者对多个LoRA模型进行灰度更新，将服务中断的时间降至最低。本文介绍如何使用ACK Gateway with Inference Extension组件对生成式AI推理服务进行渐进式灰度发布。

阿里云文档 2025-04-22

安装并使用HistoryServer组件

Ray原生Dashboard仅在集群运行时可用，集群终止后用户无法获取历史日志与监控数据。为解决此问题，本文介绍了RayCluster HistoryServer功能，其在集群运行期间实时采集节点日志并持久化存储至OSS，支持集群回收后仍可查询历史记录。

阿里云文档 2025-04-14

在ACK中安装KubeRay组件

本文将指导您在ACK托管集群Pro版上部署KubeRay Operator组件，并集成阿里云日志服务SLS与Prometheus监控，从而增强日志管理、系统可观测性及高可用性。通过Kubernetes自定义资源（CR），您可高效管理Ray集群与应用。

阿里云文档 2025-04-02

基于ACK集群的Dify组件升级指南

本文主要指导用户将ack-dify从旧版本升级至v1.0.0及以上，首先备份数据，然后通过命令提取并安装插件迁移工具至插件系统，最后验证插件功能是否正常运行，以启用新的插件生态系统。

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

文章 2024-12-10 来自：开发者社区

赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读

　　随着AI工作负载的爆炸式增长，服务提供商和企业需要加速计算，以安全高效地在大规模云上交付高性能的AI应用。前段时间，F5公司宣布推出一项全新的创新AI应用交付和应用安全解决方案，即BIG-IP Next for Kubernetes。那么该方案有何性能优势，是否通过实践验证？本文将为你全面解读。　　　　F5...