阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-04-27

在ACK托管集群(智能托管模式)中部署工作负载并实现负载均衡

本文介绍如何在ACK托管集群(智能托管模式)中部署一个工作负载,并通过ALB Ingress实现公网访问。完成后,您可以通过设定的域名访问该应用,实现外部流量的高效管理和负载均衡。

阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题,您可以通过ACK Edge集群管理本地IDC的GPU机器,并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行,当本地IDC GPU资源不足时,任务将自动调度至云上的ACS Serverless GPU,满足业务扩展需求的同时降低成本。

阿里云文档 2025-03-14

使用ECI部署QwQ-32B

本文以部署QwQ-32B模型为例,演示如何使用数据缓存快速部署QwQ-32B模型。通过数据缓存提前拉取QwQ-32B模型数据,然后在部署QwQ-32B模型推理服务时直接挂载模型数据,可以免去在实例中拉取模型数据的等待时间,加速QwQ-32B部署。

文章 2024-07-08 来自:开发者社区

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构

前言 在信息化浪潮的不断推进下,企业IT架构面临的挑战日益严峻。传统架构的局限性,诸如僵化的资源分配、复杂的运维流程、缓慢的迭代速度,以及高昂的扩展成本,已逐渐成为制约业务敏捷性与创新力的瓶颈。随着云计算技术的蓬勃发展,云原生架构以其革命性的设计理念,为这些问题提供了一剂良方,迅速在全球范围内掀起了一场技术变革的风暴。 云原生架构之所以能够蔚然成风,核心在于其对软件开发、部署及运维模式的根本...

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构
文章 2022-06-13 来自:开发者社区

Longhorn 企业级云原生容器存储解决方案-部署篇

安装Longhorn 可以通过多种方式安装在 Kubernetes 集群上:Rancher catalog appkubectlHelm安装要求安装 Longhorn 的 Kubernetes 集群中的每个节点都必须满足以下要求:与 Kubernetes 兼容的容器运行时(Docker v1.13+、containerd v1.3.7+ 等)Kubernetes v1.16+.推荐 Kubern....

Longhorn 企业级云原生容器存储解决方案-部署篇
文章 2022-06-12 来自:开发者社区

Longhorn,企业级云原生容器分布式存储 - 定制部署默认设置

您可以在部署 Longhorn 时自定义它的默认设置。例如,您可以在启动 Longhorn 之前指定 Create Default Disk With Node Labeled(创建带有节点标签的默认磁盘) 和 Default Data Path(默认数据路径)。此默认设置仅适用于尚未部署的 Longhorn 系统。它对现有的 Longhorn 系统没有影响。任何现有 Longhorn 系统的设....

文章 2018-08-25 来自:开发者社区

Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列之部署master/node节点组件(四)

0、前言  整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录   1、部署master组件 master 服务器的组件有:kube-apiserver、kube-controller-manager、kube-scheduler 因此需要下载k8s master,下...

文章 2018-08-21 来自:开发者社区

Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列之flanneld网络介绍及部署(三)

0、前言   整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 一、flanneld介绍    flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是:预先留出一个网段,每个主机使用其中一部分,然后每个容器被分配不...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注