容器服务Kubernetes版ai 的相关内容

阿里云文档 2025-03-26

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-20

ACK Gateway with Inference Extension组件介绍和变更记录

ACK Gateway with Inference Extension组件是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，支持Kubernetes四层/七层路由服务，并提供面向Inference大语言模型（LLM）推理场景的智能负载均衡能力。本文介绍ACK Gateway with Inference Extension组件的信...

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-17 来自：开发者社区

ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践

【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...

文章 2025-03-13 来自：开发者社区

打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度

【阅读原文】戳：打破资源边界、告别资源浪费：ACK One多集群Spark和AI作业调度概述在云原生时代，随着业务的发展（如业务遍布全球、已达单一集群承载上限）、容灾需求的迫切、安全合规的要求等原因，越来越多的用户采用多Kubernetes集群来承载业务。而在Kubernetes...

阿里云文档 2025-03-12

Slurm用户及账户配置推荐设置

Slurm提供的账户与用户可被用于管理任务提交以及计费统计。本文主要介绍如何在Slurm集群中正确配置账户和用户，包括创建、修改和删除账户及用户的方法，并深入探讨如何以账户为单位来有效地跟踪和统计任务所消耗的资源量，从而帮助企业或研究机构更好地管理和优化其计算资源的使用效率。

阿里云文档 2025-03-07

通过开发控制台对MLflow仓库模型管理

云原生AI套件支持对MLflow模型仓库中的模型进行管理，本文介绍如何使用云原生AI套件开发控制台进行模型管理。

阿里云文档 2025-03-03

基于ComfyUI编排文生图workflow

ComfyUI是一款开源的图形化AI工作流工具，专注于简化生成式模型（如Stable Diffusion）的开发和部署流程。其基于节点化设计，您可通过拖放模块快速搭建图像生成、文本处理等复杂流程，支持本地与云端部署。本文将介绍如何基于阿里云产品完成ComfyUI的本地安装，包括环境配置、依赖安装及基础使用等步骤。

文章 2025-02-07 来自：开发者社区

NVIDIA NIM on ACK：优化生成式AI模型的部署与管理

【阅读原文】戳：NVIDIA NIM on ACK：优化生成式AI模型的部署与管理 NVIDIA NIM是一套易于使用的微服务，旨在加速在云、数据中心和工作站等不同环境中部署生成式AI模型。然而，在Kubernetes（K8s）环境下，使用NIM部署推理服务时，我们仍然需要更多的服务化管理能力，以及针对具体场景的最佳实践。例如，弹性伸缩配置、提高弹性效率和冷启动速度、实现流量控...

文章 2024-10-26 来自：开发者社区

Kubernetes 故障诊断 AI 助手

5.6k star,开源神器推荐，Kubernetes 故障诊断 AI 助手 K8sGPT 是一个开源工具，旨在为 Kubernetes 集群提供扫描、诊断和分类功能。它将 SRE（站点可靠性工程）经验编码到其分析器中，并利用 AI 技术提取最相关的信息进行丰富处理。K8sGPT 支持与多种 AI 提供商的集成，...