阿里云文档 2025-08-13

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型(671B)单卡显存不足的挑战,提出混合并行策略(Pipeline Parallelism=2 + Tensor Parallelism=8),结合阿里云Arena工具,实现在2台ecs.ebmgn8v.48xlarge(8*96GB)节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-07-18

基于ACK集群的Dify组件升级指南

本文主要指导用户将ack-dify从旧版本升级至v1.0.0及以上,首先备份数据,然后通过命令提取并安装插件迁移工具至插件系统,最后验证插件功能是否正常运行,以启用新的插件生态系统。

阿里云文档 2025-05-06

Slurm用户及账户配置推荐设置

Slurm提供的账户与用户可被用于管理任务提交以及计费统计。本文主要介绍如何在Slurm集群中正确配置账户和用户,包括创建、修改和删除账户及用户的方法,并深入探讨如何以账户为单位来有效地跟踪和统计任务所消耗的资源量,从而帮助企业或研究机构更好地管理和优化其计算资源的使用效率。

阿里云文档 2025-05-06

设置Slurm队列优先级

为了更有效地管理和分配资源,优化作业调度,提升系统利用率,并满足多样化的作业需求,队列成为任务调度中不可或缺的配置项。合理的队列设置能够确保高优先级的任务优先获得所需资源,从而最大化资源利用效率。本文介绍在Slurm系统环境下,当出现作业提交或作业状态变化时,如何通过恰当的队列配置策略来实现尽可能多的任务调度处理,以达到最佳性能。

阿里云文档 2025-04-27

在ACK中使用KTransformers部署DeepSeek-R1模型

KTransformers框架实现了多种LLM推理优化,进一步减少了推理阶段的显存占用,从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。

文章 2023-12-21 来自:开发者社区

猿创征文|云原生|kubernetes二进制1.18单master扩展为多master

前言:在此前已经部署了单master节点,但,出于集群稳定性的考虑,需要将其扩展为多master。原单master部署链接:kubernetes二进制安装教程单master_zsk_john的博客-计划是在此基础上扩展,其中的细节还是比较多的,单master和多master的集群规划计划如下:单master集群规划:单master集群规划表序号ip角色hostname安装的组件1192.168.....

文章 2023-12-19 来自:开发者社区

云原生|kubernetes|kubernetes-1.18 二进制安装教程单master(其它的版本也基本一样)(下)

云原生|kubernetes|kubernetes-1.18 二进制安装教程单master(其它的版本也基本一样)(上):https://developer.aliyun.com/article/1399626生成kube-proxy.kubeconfig文件vim /opt/kubernetes/ssl/kube-proxy-csr.json  {"CN": "system:kube....

云原生|kubernetes|kubernetes-1.18 二进制安装教程单master(其它的版本也基本一样)(下)
文章 2023-12-19 来自:开发者社区

云原生|kubernetes|kubernetes-1.18 二进制安装教程单master(其它的版本也基本一样)(上)

前言: kubernetes的二进制部署是比较繁琐的,需要注意的细节非常多,但,二进制部署的好处也是显而易见的,能够对k8s的整体架构有更深的理解,后期的问题排查也会更加的有思路。k8s集群的部署是需要讲顺序的,你不能先安装一个kube-apiserver,在安装一个kubelet,然后在安装kube-controller-manage,如果这样部署,那么是不会成功的。因此,在安装前,....

文章 2022-11-15 来自:开发者社区

【云原生Kubernetes】二进制搭建Kubernetes集群(下)——部署多master(2)

7.2 所有node节点修改配置文件#修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP cd /opt/kubernetes/cfg/ vim bootstrap.kubeconfig server: https://192.168.41.100:6443 vim kubelet.kubeconfig server: ...

【云原生Kubernetes】二进制搭建Kubernetes集群(下)——部署多master(2)
文章 2022-11-15 来自:开发者社区

【云原生Kubernetes】二进制搭建Kubernetes集群(下)——部署多master(1)

前言多master集群架构图:网络异常,图片无法展示|架构说明:node节点的kubelet只能对接一个master节点的apiserver,不可能同时对接多个master节点的apiserver。简而言之,node节只能有一个master来领导。kubelet和kube-proxy是通过kubelet.kubeconfig和kube-proxy.kubeconfig文件中的server参数进行....

【云原生Kubernetes】二进制搭建Kubernetes集群(下)——部署多master(1)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云云原生

关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践

+关注