阿里云文档 2025-03-17

基于ACK多机分布式部署DeepSeek满血版推理部署实战

本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型(671B)单卡显存不足的挑战,提出混合并行策略(Pipeline Parallelism=2 + Tensor Parallelism=8),结合阿里云Arena工具,实现在2台ecs.ebmgn8v.48xlarge(8*96GB)节点上的高效分布式部署。进一步演示如何将部署于AC...

阿里云文档 2025-03-12

Slurm用户及账户配置推荐设置

Slurm提供的账户与用户可被用于管理任务提交以及计费统计。本文主要介绍如何在Slurm集群中正确配置账户和用户,包括创建、修改和删除账户及用户的方法,并深入探讨如何以账户为单位来有效地跟踪和统计任务所消耗的资源量,从而帮助企业或研究机构更好地管理和优化其计算资源的使用效率。

阿里云文档 2025-03-07

基于ACK部署DeepSeek蒸馏模型推理服务

本文介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。

阿里云文档 2025-03-07

通过开发控制台对MLflow仓库模型管理

云原生AI套件支持对MLflow模型仓库中的模型进行管理,本文介绍如何使用云原生AI套件开发控制台进行模型管理。

阿里云文档 2025-03-03

基于ComfyUI编排文生图workflow

ComfyUI是一款开源的图形化AI工作流工具,专注于简化生成式模型(如Stable Diffusion)的开发和部署流程。其基于节点化设计,您可通过拖放模块快速搭建图像生成、文本处理等复杂流程,支持本地与云端部署。本文将介绍如何基于阿里云产品完成ComfyUI的本地安装,包括环境配置、依赖安装及基础使用等步骤。

文章 2023-12-21 来自:开发者社区

云原生|kubernetes|kubernetes集群部署神器kubekey安装部署高可用k8s集群(半离线形式)

前言:前面利用kubekey部署了一个简单的非高可用,etcd单实例的kubernetes集群,经过研究,发现部署过程可以简化,省去了一部分下载过程(主要是下载kubernetes组件的过程)只是kubernetes版本会固定在1.22.16版本,etcd集群可以部署成生产用的外部集群,并且apiserver等等组件也是高可用,并且部署非常简单,因此,也就非常nice了。一,离线安装包####注....

云原生|kubernetes|kubernetes集群部署神器kubekey安装部署高可用k8s集群(半离线形式)
文章 2023-12-19 来自:开发者社区

云原生|kubernetes|k8s集群测试时的一些基本操作

前言:kubernetes集群作为一个能够明显提升生产力的工具,还是需要多多练习一些基本操作的,我说的基本操作主要是针对基本的测试环节而不是生产环境下的操作。例如,在生产环境下用命令行启动一个pod并通过NodePort把这个pod运行的服务暴露到集群外,这很明显是不允许的操作,或者直接set一个新镜像到原有的pod内,比如,某个pod使用的是MySQL5.6,直接去命令行set镜像到8.0,这....

云原生|kubernetes|k8s集群测试时的一些基本操作
文章 2022-11-15 来自:开发者社区

【云原生Kubernetes】K8S集群+负载均衡层+防火墙 实例(下)

三、创建service资源编写service对应的yaml文件,使用NodePort类型和TCP 30000端口将Nginx服务发布出去。#1、编写service对应的yaml文件 vim myservice.yaml apiVersion: v1 kind: Service metadata: name: yuji-nginx-svc namespace: defau...

【云原生Kubernetes】K8S集群+负载均衡层+防火墙 实例(下)
文章 2022-11-15 来自:开发者社区

【云原生Kubernetes】K8S集群+负载均衡层+防火墙 实例(上)

实验拓扑:网络异常,图片无法展示|实验要求:(1)Kubernetes 区域可采用 Kubeadm 方式进行安装。(2)要求在 Kubernetes 环境中,通过yaml文件的方式,创建2个Nginx Pod分别放置在两个不同的节点上,Pod使用hostPath类型的存储卷挂载,节点本地目录共享使用 /data,2个Pod副本测试页面二者要不同,以做区分,测试页面可自己定义。(3)编写servi....

【云原生Kubernetes】K8S集群+负载均衡层+防火墙 实例(上)
文章 2022-11-14 来自:开发者社区

【云原生Kubernetes系列项目实战第一篇】k8s集群+高可用负载均衡层+防火墙( 提及年少一词,应与平庸相斥)(三)

四、搭建负载均衡层负载均衡区域配置Keepalived+Nginx,实现负载均衡高可用,通过VIP 192.168.10.100和自定义的端口号即可访问K8S发布出来的服务。lb01:192.168.10.40lb02:192.168.10.50VIP:192.168.10.100#---------1、两台负载均衡器配置nginx-------------- #关闭防火墙和selinux ...

【云原生Kubernetes系列项目实战第一篇】k8s集群+高可用负载均衡层+防火墙( 提及年少一词,应与平庸相斥)(三)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云云原生

关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践

+关注