文章 2025-04-17 来自:开发者社区

K8S 部署 Deepseek 要 3 天?别逗了!Ollama+GPU Operator 1 小时搞定

最近一年我都在依赖大模型辅助工作,比如 DeepSeek、豆包、Qwen等等。线上大模型确实方便,敲几个字就能生成文案、写代码、做表格,极大提高了效率。但对于企业来说:公司内部数据敏感、使用外部大模型会有数据泄露的风险。 尤其是最近给 Rainbond 开源社区的用户答疑时,发现大家对大模型私有化部署有需求,都希望把大模型部署到企业内网,既能按需定制优化,又能保障安全合规。 网上教程虽多,但大多....

K8S 部署 Deepseek 要 3 天?别逗了!Ollama+GPU Operator 1 小时搞定
阿里云文档 2025-01-09

如何实现K8s集群以Serverless方式使用云上CPU/GPU资源

IDC中K8s集群通过Serverless方式使用阿里云弹性容器实例ECI运行业务Pod。您可以在K8s集群直接提交业务Pod,使Pod运行在ECI上,无需额外运维云上节点池,更加灵活、高效、弹性地使用云上CPU和GPU资源。本文介绍如何基于注册集群实现IDC中K8s集群以Serverless方式使用云上CPU和GPU资源。

文章 2024-04-24 来自:开发者社区

Kubernetes(K8s)与虚拟GPU(vGPU)协同:实现GPU资源的高效管理与利用

可先阅读一下参考:kubernetes如何将异构GPU(如NVIDIA、海光、寒武纪)统一协同调度? 引言: 在当今的计算环境中,图形处理单元(GPU)已经成为许多工作负载中不可或缺的一部分。GPU的并行计算能力使其在深度学习、科学计算、图形渲染等领域具有巨大的优势。然而,有效管理和利用GPU资源对于提供高性能计算环境至关重要。在本文中,我们将探讨如何利用Kubern...

文章 2023-08-01 来自:开发者社区

基于ACK One注册集群实现IDC中K8s集群以Serverless方式使用云上CPU/GPU资源

在前一篇文章《基于ACK One注册集群实现IDC中K8s集群添加云上CPU/GPU节点》中,我们介绍了如何为IDC中K8s集群添加云上节点,应对业务流量的增长,通过多级弹性调度,灵活使用云上资源,并通过自动弹性伸缩,提高使用率,降低云上成本。 这种直接添加节点的方式,适合需要自定义配...

基于ACK One注册集群实现IDC中K8s集群以Serverless方式使用云上CPU/GPU资源
文章 2023-07-13 来自:开发者社区

基于ACK One注册集群实现IDC中K8s集群添加云上CPU/GPU节点

在前一篇文章《基于ACK One注册集群轻松实现云上云下K8s集群统一管理》中,我们注重介绍了注册集群的应用场景,架构实现,安全加固,以及在他云K8s集群和IDC自建K8s集群中使用阿里云容器服务ACK的强大可观测性能力,实现云上云下K8s集群的统一运维管理。本文会重点介绍ACK One注册集群的另一个重要使用场景--云上弹性。 概述 ACK One注册集群的云上弹....

基于ACK One注册集群实现IDC中K8s集群添加云上CPU/GPU节点
文章 2023-07-07 来自:开发者社区

基于ACK One注册集群实现IDC中K8s集群添加云上CPU/GPU节点

在前一篇文章《基于ACK One注册集群轻松实现云上云下K8s集群统一管理》中,我们注重介绍了注册集群的应用场景,架构实现,安全加固,以及在他云K8s集群和IDC自建K8s集群中使用阿里云容器服务ACK的强大可观测性能力,实现云上云下K8s集群的统一运维管理。本文会重点介绍ACK One注册集群的另一个重要使用场景--云上弹性。概述ACK One注册集群的云上弹性能力针对的场景:业务快速增长:在....

基于ACK One注册集群实现IDC中K8s集群添加云上CPU/GPU节点
问答 2022-06-13 来自:开发者社区

请问 基于Docker和k8s的GPU计算资源调度机制

请问 基于Docker和k8s的GPU计算资源调度机制

文章 2022-02-17 来自:开发者社区

从零开始入门 K8s | GPU 管理和 Device Plugin 工作机制

作者 | 车漾  阿里巴巴高级技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 20 讲。关注“阿里巴巴云原生”公众号,回复关键词“入门”,即可下载从零入门 K8s 系列文章 PPT。 导读:2016 年,随着 AlphaGo 的走红和 TensorFlow 项目的异军突起,一场名为 AI 的技术革命迅速从学术圈蔓延到了工业界,所谓 ...

从零开始入门 K8s | GPU 管理和 Device Plugin 工作机制
问答 2022-02-15 来自:开发者社区

"从运维角度哈, 快速搭建一套自己的基于阿里云的k8s 系统集群 需要多长时间,包括熟悉和解决问题, 快速搭建一套阿里云的k8s + nvidia gpu device plugin 系统 需要多长时间,包括熟悉和解决问题。"

"从运维角度哈, 快速搭建一套自己的基于阿里云的k8s 系统集群 需要多长时间,包括熟悉和解决问题, 快速搭建一套阿里云的k8s + nvidia gpu device plugin 系统 需要多长时间,包括熟悉和解决问题。"

问答 2022-02-15 来自:开发者社区

另外想问一下 我们自己搭建了k8s,不知道是否能使用阿里云的GPU机器?这些机器是否能够支持即时购买?以及即时回收?

另外想问一下 我们自己搭建了k8s,不知道是否能使用阿里云的GPU机器?这些机器是否能够支持即时购买?以及即时回收?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

做技术先进、性能优异、稳如磐石的弹性计算!

+关注