阿里云文档 2025-01-13

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

问答 2024-12-03 来自:开发者社区

开源PolarDB-X|K8s 部署报错

K8s 部署报这个错误是什么原因kubectl create -f polarx_lite.yamlError from server (InternalError): error when creating "polarx_lite.yaml": Internal error occurred: failed calling webhook "polardbxcluster-mutate.po....

阿里云文档 2024-11-01

AI模型推理服务在Knative中最佳配置实践

Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,适用于需要频繁调整计算资源的AI应用场景,例如模型推理等。您可以通过Knative Pod部署AI模型推理任务,配置自动扩缩容、灵活分配GPU资源等功能,提高AI推理服务能力和GPU资源利用率。

阿里云文档 2024-10-17

在Windows节点池中部署工作负载的最佳实践

您可以将待部署的Windows应用制作成Docker镜像,便于后续在集群中部署工作负载时进行拉取。镜像制作完成后,您可以在ACK集群中创建Windows节点池,并将镜像部署到Windows节点上。

文章 2022-06-13 来自:开发者社区

拥抱云原生,如何将开源项目用k8s部署?(二)

4.启动脚本改造Otter包括两个部分,管理控制台manager和工作运行节点node,正常情况下都是用各自的启动脚本startup.sh启动的。为了适配k8s,我们需要对启动脚本做改造,本文以otter-manager的启动脚本为例,otter-node也是类似。将启动脚本startup.sh改造为 startup-moon.sh,重点解决两个问题前台进程保持运行jvm参数自定义改造4.1 前....

拥抱云原生,如何将开源项目用k8s部署?(二)
文章 2022-06-13 来自:开发者社区

拥抱云原生,如何将开源项目用k8s部署?(一)

1.背景otter是阿里开源的分布式数据库同步系统,基于数据库增量日志解析,并准实时同步到本机房或异地机房的mysql/oracle数据库(相关内容可以参考https://github.com/alibaba/otter,本文不做过多赘述)。为了充分利用物理资源、快速扩容同步节点、拥抱云原生,决定使用k8s部署otter。otter的项目整体上自成一体,出于改造成本考虑,尽量在项目已有基础上,做....

拥抱云原生,如何将开源项目用k8s部署?(一)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像