阿里云文档 2025-01-13

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2025-01-09

使用数据盘快照加速大模型应用启动

ACK节点池支持为新增节点配置数据盘,并使用预先存在的数据盘快照进行初始化。该快照可以包含所有必要的缓存数据,如预下载的容器镜像、预训练的大规模机器学习模型、系统所需镜像及其他关键的静态资源。每当有新节点加入节点池时,它将自动从快照中恢复这些缓存数据,大幅缩短首次运行数据加载时间。本文通过两个场景展示如何利用数据盘快照加速工作负载和节点初始化的部署速度。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

文章 2024-11-21 来自:开发者社区

容器化技术:Docker与Kubernetes的实战应用

简介:本文介绍了容器化技术的核心概念,以及Docker和Kubernetes这两个主流容器化工具的实战应用。 正文内容概述: 容器化技术基础:解释容器化技术的定义、优势以及与传统虚拟化技术的区别。Docker入门:介绍Docker的基本概念、安装与配置、镜像与容器的管理、网络与存储等。Kubernetes实战:详...

阿里云文档 2024-11-13

微服务应用接入MSE治理中心进行微服务治理

您可以将部署在容器服务 Kubernetes 版中的Spring Cloud和Dubbo等微服务应用接入MSE治理中心,使用MSE提供的一系列服务治理能力,大幅提升线上微服务的稳定性和开发效率,本文介绍如何将ACK微服务应用接入MSE治理中心。

文章 2024-05-27 来自:开发者社区

Kubernetes详解(二十一)——ReplicaSet控制器实战应用

今天继续给大家介绍Linux运维相关知识,本文主要内容是ReplicaSet控制器实战应用。在上文Kubernetes详解(二十)——ReplicaSet控制器中,我们讲解了ReplicaSet控制器的基本内容和创建,今天,我们来进行ReplicaSet控制器的实战。 一、ReplicaSet控制器应用升级首先&...

文章 2023-07-06 来自:开发者社区

Kubernetes云原生实战:分布式GeaFlow实现图研发,构建第一个商业智能应用

GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHubhttps://github.com/TuGraph-family/tugraph-analytics更多精彩内容,关注我们的博客 https://tugraph-analytics.github.io/引言Kubernetes在云原生应用中扮演着至关重要的角色,为....

Kubernetes云原生实战:分布式GeaFlow实现图研发,构建第一个商业智能应用
文章 2022-12-13 来自:开发者社区

Kubernetes RBAC【2】实战应用

文章目录1. 介绍2. Practice - Role and Rolebinding3. Practice - ClusterRole and ClusterRoleBinding4. Accounts and Users5. Practice - CertificateSigningRequests1. 介绍2. Practice - Role and Rolebindingroot@mas....

Kubernetes RBAC【2】实战应用

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像