阿里云文档 2025-01-13

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2025-01-09

使用数据盘快照加速大模型应用启动

ACK节点池支持为新增节点配置数据盘,并使用预先存在的数据盘快照进行初始化。该快照可以包含所有必要的缓存数据,如预下载的容器镜像、预训练的大规模机器学习模型、系统所需镜像及其他关键的静态资源。每当有新节点加入节点池时,它将自动从快照中恢复这些缓存数据,大幅缩短首次运行数据加载时间。本文通过两个场景展示如何利用数据盘快照加速工作负载和节点初始化的部署速度。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

文章 2024-11-19 来自:开发者社区

K8s业务迁移最佳实践: 灵活管理资源备份与调整策略,实现高效简便的应用恢复

【阅读原文】戳:K8s业务迁移最佳实践: 灵活管理资源备份与调整策略,实现高效简便的应用恢复 引言       在当今快速变化的云原生领域,Kubernetes(K8s)集群的运维面临着诸多挑战,其中灾备与业务迁移尤为关键。无论是为了应对突发情况而对集群进行备份与异地恢复,还是在执行如主备业务同步、从传统数...

K8s业务迁移最佳实践: 灵活管理资源备份与调整策略,实现高效简便的应用恢复
阿里云文档 2024-11-13

微服务应用接入MSE治理中心进行微服务治理

您可以将部署在容器服务 Kubernetes 版中的Spring Cloud和Dubbo等微服务应用接入MSE治理中心,使用MSE提供的一系列服务治理能力,大幅提升线上微服务的稳定性和开发效率,本文介绍如何将ACK微服务应用接入MSE治理中心。

文章 2022-02-17 来自:开发者社区

自建K8S迁移镜像、应用至阿里云ACK最佳实践

直达最佳实践:【自建K8S迁移镜像、应用至阿里云ACK最佳实践】云栖号最佳实践:【点击查看更多上云最佳实践】 这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本最佳实践构建以下场景:1、以河源ECS构建Harbor仓库,模拟IDC的镜像仓库服务。3、以河源ECS构建Registry仓库,模拟IDC的镜像仓库服务。4、以河源...

自建K8S迁移镜像、应用至阿里云ACK最佳实践
文章 2022-02-17 来自:开发者社区

Portworx演示:在K8S集群间迁移有状态的应用和数据

越来越多的企业选择Kubernetes作为基础架构,它能够帮助我们缩短软件项目上市时间、降低基础架构成本、并提高软件质量。由于Kubernetes比较新,因此IT团队都在学习如何在生产环境中,在Kubernetes上对应用程序进行运行和维护。本文将探讨,当在需要额外的计算能力时,将Kubernetes应用程序迁移至另一个新的集群。 Portworx演示视频:视频链接 需要对当前的Kuberne.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像