阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-04-27

在ACK托管集群(智能托管模式)中部署工作负载并实现负载均衡

本文介绍如何在ACK托管集群(智能托管模式)中部署一个工作负载,并通过ALB Ingress实现公网访问。完成后,您可以通过设定的域名访问该应用,实现外部流量的高效管理和负载均衡。

阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题,您可以通过ACK Edge集群管理本地IDC的GPU机器,并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行,当本地IDC GPU资源不足时,任务将自动调度至云上的ACS Serverless GPU,满足业务扩展需求的同时降低成本。

阿里云文档 2025-03-14

使用ECI部署QwQ-32B

本文以部署QwQ-32B模型为例,演示如何使用数据缓存快速部署QwQ-32B模型。通过数据缓存提前拉取QwQ-32B模型数据,然后在部署QwQ-32B模型推理服务时直接挂载模型数据,可以免去在实例中拉取模型数据的等待时间,加速QwQ-32B部署。

文章 2024-09-13 来自:开发者社区

云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##

随着数字化转型的不断深入,企业对IT系统的敏捷性、可扩展性和可靠性提出了更高的要求。传统的单体架构由于其臃肿和僵化的特点,难以适应快速变化的市场需求。因此,云原生架构应运而生,以其轻量化、松耦合和高度自治的特性,迅速成为现代软件开发和运营的主流方式。 一、云原生的概念与核心技术 1. 容器化 容器化是云原生的基础,...

文章 2022-02-16 来自:开发者社区

容器时代的DevOps部署

本文目录:一、企业应用的部署发展二、普元容器云与DevOps的部署设计三、面向微服务的部署设计四、容器组装化部署五、容器云集成之路六、结语 一、企业应用的部署发展 本文讲的是容器时代的DevOps部署,企业应用,指的是那些部署在企业的服务器上,为企业的生产与运作提供支撑的核心系统。随着IT技术的发展,企业应用的部署环境不断地发生着变化。最初,大家用的都是物理机,后来出现了虚拟机,再到IAAS平台....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注