阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

阿里云文档 2025-04-27

在ACK托管集群(智能托管模式)中部署工作负载并实现负载均衡

本文介绍如何在ACK托管集群(智能托管模式)中部署一个工作负载,并通过ALB Ingress实现公网访问。完成后,您可以通过设定的域名访问该应用,实现外部流量的高效管理和负载均衡。

高性能

容器化应用的持续集成与部署

在现代软件开发中,高效的持续集成和部署(CI/CD)是确保快速迭代和稳定交付的关键所在。基于阿里云容器服务 Kubernetes 版 ACK 与Jenkins构建持续集成与部署的解决方案,能够为企业提供从代码构建到应用部署的全流程自动化支持,显著提升开发效率和交付质量。
技术解决方案背景图
文章 2025-04-20 来自:开发者社区

领取永久免费的ClawCloud云服务容器部署Alist网盘

​ 首先介绍一下ClawCloud,这是阿里在新加坡推出的云服务 Claw Cloud旗下的 Claw Cloud Run 近日正式上线,这是一款类似于 Vercel 和 Netlify 的在线开发平台,专为开发者和个人用户设计。通过 Claw Cloud Run,用户可以快速部署各种流行的应用程序和开源项目,如 Alist、...

领取永久免费的ClawCloud云服务容器部署Alist网盘
文章 2025-04-17 来自:开发者社区

容器化爬虫部署:基于K8s的任务调度与自动扩缩容设计

摘要随着业务复杂度提升,单纯依靠定时任务和手工扩缩容已无法满足高并发、实时性和资源利用效率需求。本篇文章比较了两种基于 Kubernetes 的容器化爬虫调度与扩缩容方案:一种是利用 Kubernetes 原生的 CronJob 与 Horizontal Pod Autoscaler(HPA);另一种是基于 KEDAÿ...

容器化爬虫部署:基于K8s的任务调度与自动扩缩容设计
阿里云文档 2025-03-19

使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务

为解决DeepSeek推理服务对GPU规格需求越来越高的问题,您可以通过ACK Edge集群管理本地IDC的GPU机器,并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行,当本地IDC GPU资源不足时,任务将自动调度至云上的ACS Serverless GPU,满足业务扩展需求的同时降低成本。

阿里云文档 2025-03-14

使用ECI部署QwQ-32B

本文以部署QwQ-32B模型为例,演示如何使用数据缓存快速部署QwQ-32B模型。通过数据缓存提前拉取QwQ-32B模型数据,然后在部署QwQ-32B模型推理服务时直接挂载模型数据,可以免去在实例中拉取模型数据的等待时间,加速QwQ-32B部署。

文章 2025-03-08 来自:开发者社区

使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由

【阅读原文】戳:使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由 背景介绍     1. QwQ-32B模型 阿里云最新发布的QwQ-32B模型,通过强化学习大幅度提升了模型推理能力。QwQ-32B模型拥有320亿参数,其性能可以与DeepSeek-R1 671B媲美。模型数学代码等核心指标(...

使用容器服务ACK快速部署QwQ-32B模型并实现推理智能路由
文章 2025-02-27 来自:开发者社区

容器化AI模型的持续集成与持续交付(CI/CD):自动化模型更新与部署

在前几篇文章中,我们探讨了容器化AI模型的部署、监控、弹性伸缩以及安全防护。然而,AI模型的开发和部署是一个持续迭代的过程,需要不断更新模型以适应新的数据和业务需求。为了加速这一过程,我们需要实现容器化AI模型的持续集成与持续交付(CI/CD),以自动化模型的更新和部署。 一、什么是CI/CD&#x...

文章 2025-02-27 来自:开发者社区

容器化AI模型部署实战:从训练到推理

在上一篇中,我们探讨了AI技术如何赋能容器化生态,从智能化运维到创新应用,展现了二者融合的巨大潜力。本篇将聚焦于一个具体场景:AI模型的容器化部署,并通过代码示例,带领读者一步步完成从模型训练到推理服务的完整流程。 一、场景概述 假设我们有一个图像分类任务,需要训练一个卷积神经网络(C...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注