容器服务Kubernetes版模型的相关内容

阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化，进一步减少了推理阶段的显存占用，从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

文章 2025-03-18 来自：开发者社区

ACK Gateway with AI Extension：大模型推理的模型灰度实践

【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...

文章 2025-03-08 来自：开发者社区

使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由

【阅读原文】戳：使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由背景介绍 1. QwQ-32B模型阿里云最新发布的QwQ-32B模型，通过强化学习大幅度提升了模型推理能力。QwQ-32B模型拥有320亿参数，其性能可以与DeepSeek-R1 671B媲美。模型数学代码等核心指标（...

文章 2025-02-28 来自：开发者社区

企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南

DeepSeek凭借其出色的推理表现在春节期间火爆全网，本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。背景介绍 1. DeepSeek R1模型 DeepSeek-R1[1]模型是DeepSeek推出的第一代推理模型，旨在通过大规模强化学习提升大语言模型的推理能力。实验结果表明，Deep...

文章 2025-02-08 来自：开发者社区

企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南

【阅读原文】戳：企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南 DeepSeek凭借其出色的推理表现在春节期间火爆全网，本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。背景介绍 ...

阿里云文档 2024-10-09

安全责任共担模型

安全合规在ACK集群托管架构下遵循责任共担原则，其中容器服务ACK负责集群控制面组件（包括Kubernetes控制平面组件和etcd）以及集群服务相关阿里云基础设施的默认安全性。本文介绍阿里云容器服务ACK的安全责任共担模型。

文章 2024-08-29 来自：开发者社区

Kubernetes 网络模型与实践

引言 Kubernetes（K8s）是当今容器编排领域的佼佼者，它提供了一种高效的方式来管理容器化应用的部署、扩展和运行。Kubernetes 的网络模型是其成功的关键因素之一，它支持服务发现、负载均衡和集群内外通信等功能。本文将深入探讨 Kubernetes 的网络模型，并通过实际代码示例来展示服务发现和服务网格的基本概念及...

文章 2024-08-23 来自：开发者社区

在K8S中，cailico的ipip模型和ciliume的vxlan模型除了在具体的实现不同，在原理上有何区别？

在Kubernetes中，Calico的IP-in-IP（IP over IP）模型和Cilium的VXLAN（Virtual eXtensible Local Area Network）模型都旨在解决跨主机通信的问题，但它们在原理上有着本质的区别，这些差异主要体现在数据包的封装、网络层级、性能影响以及网络策略的实施上。 1. Calico的IPIP模型原理： ...

文章 2024-08-23 来自：开发者社区

在K8S中，calico和cilium这两种cni有什么区别？cailico的ipip模型和ciliume的vxlan模型，两种不通模型性能也不同，它们怎么处理数据的？

在Kubernetes（K8S）中，Calico和Cilium是两种流行的容器网络接口（CNI）插件，它们各自具有独特的特点和优势。下面将详细比较这两种CNI插件，并探讨Calico的IPIP模型和Cilium的VXLAN模型在数据处理上的差异。 1. Calico与Cilium的区别 ...

文章 2024-08-19 来自：开发者社区

在k8S中，CSI模型是什么？

在 Kubernetes（k8S）中，CSI（Container Storage Interface）模型是一种标准化接口，用于容器编排系统与外部存储系统的交互。CSI 的设计目的是允许第三方存储提供商开发符合标准的插件，使得这些存储解决方案能够无缝集成到 Kubernetes 集群中，为 Pod 提供持久化存储服务。 CSI 模型主要包括以下组件： CSI Driv...