阿里云文档 2025-03-19

基于ACK部署DeepSeek蒸馏模型推理服务

本文介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。

阿里云文档 2025-03-17

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型(671B)单卡显存不足的挑战,提出混合并行策略(Pipeline Parallelism=2 + Tensor Parallelism=8),结合阿里云Arena工具,实现在2台ecs.ebmgn8v.48xlarge(8*96GB)节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-12

Slurm用户及账户配置推荐设置

Slurm提供的账户与用户可被用于管理任务提交以及计费统计。本文主要介绍如何在Slurm集群中正确配置账户和用户,包括创建、修改和删除账户及用户的方法,并深入探讨如何以账户为单位来有效地跟踪和统计任务所消耗的资源量,从而帮助企业或研究机构更好地管理和优化其计算资源的使用效率。

阿里云文档 2025-03-07

通过开发控制台对MLflow仓库模型管理

云原生AI套件支持对MLflow模型仓库中的模型进行管理,本文介绍如何使用云原生AI套件开发控制台进行模型管理。

阿里云文档 2025-03-03

基于ComfyUI编排文生图workflow

ComfyUI是一款开源的图形化AI工作流工具,专注于简化生成式模型(如Stable Diffusion)的开发和部署流程。其基于节点化设计,您可通过拖放模块快速搭建图像生成、文本处理等复杂流程,支持本地与云端部署。本文将介绍如何基于阿里云产品完成ComfyUI的本地安装,包括环境配置、依赖安装及基础使用等步骤。

文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-Kubernetes资源编排之一:Pod YAML篇(中)

三、 Object(元数据) 在Rest API中明确了Resource的kind、apiVersion,也确定了Object的namespace、name,作为凡是k8s资源对象都会引用的公共结构,自然也存在很多公共机制供使用。  metadata:  annotations:    alibabaclo....

SREWorks云原生数智运维工程实践-Kubernetes资源编排之一:Pod YAML篇(中)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-Kubernetes资源编排之一:Pod YAML篇(下)

四、 Spec(规范) Spec作为Pod的期望状态,一定程度上也覆盖了Pod完整生命周期的逻辑,Pod的生命周期分为以下阶段:  • Pending:代表Pod处于未调度阶段• Creating:节点上的kubelet已经发现了Pod,处于创建阶段• Running:至少一个容器运行完毕,kubelet这会发起健康监测• Terminating:Pod处于删除状态....

SREWorks云原生数智运维工程实践-Kubernetes资源编排之一:Pod YAML篇(下)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(上)

作者:凌可(彭兰舒)、雪尧(郭耀星) 这是我们的《Kubernetes资源编排系列》的第二篇——Helm篇,在上篇《Kubernetes资源编排系列之一:Pod YAML篇》中,我们见识到了Pod YAML的强大能力,在k8s的集群中,所见之处皆是YAML。YAML多了之后,大家就希望有一种方案能将海量的YAML管理起来。于是本篇我们来介绍一下Helm。 一、 Helm是什么....

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(上)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(中)

三、 Helm的优点 • 生命周期管理:可以实现对组件实例的查询、安装、卸载、升级、回滚。• 方便的命令行:对于简单变量,可以在部署的同时指定对应的参数,方便部署。• 插件和工具生态:作为CNCF项目,Helm已经变成了K8S基础生态的一部分,各种各样的外部系统都会对它进行默认支持,CICD工具集成方面有得天独厚的优势;同时用户能够从社区中获取丰富的专业知识和共享的Chart包。• 确....

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(中)
文章 2023-05-22 来自:开发者社区

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(下)

六、 SREWorks应用Helm组件实践 Tips虽然Helm官方将自身托管的Chart对应的包称为应用(Application),但在一个真实的复杂应用(Application)下,Helm Chart更像是应用(Application)中的组件(Component)。故在SREWorks中将Helm托管的Chart 归为组件(Component)。 点击进入SREWor....

SREWorks云原生数智运维工程实践-Kubernetes资源编排之二:Helm篇(下)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云云原生

关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践

+关注