阿里云文档 2024-12-06

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2024-11-12

构建nodejs应用并部署到ACK

通过使用流水线Flow,自动化构建Node.js应用镜像,并推送到ACR镜像仓库,由ACK集群发布YAML对象资源应用部署,完成整条自动化流水线任务。

阿里云文档 2024-11-01

AI模型推理服务在Knative中最佳配置实践

Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,适用于需要频繁调整计算资源的AI应用场景,例如模型推理等。您可以通过Knative Pod部署AI模型推理任务,配置自动扩缩容、灵活分配GPU资源等功能,提高AI推理服务能力和GPU资源利用率。

阿里云文档 2024-10-17

在Windows节点池中部署工作负载的最佳实践

您可以将待部署的Windows应用制作成Docker镜像,便于后续在集群中部署工作负载时进行拉取。镜像制作完成后,您可以在ACK集群中创建Windows节点池,并将镜像部署到Windows节点上。

阿里云文档 2024-10-09

如何在ACK托管版集群中部署Keycloak服务并进行身份认证

本文介绍如何在ACK托管集群中部署Keycloak服务,并将Keycloak作为K8s OpenID Connect的认证服务器,实现在ACK托管集群上的身份认证。

文章 2024-08-29 来自:开发者社区

k8s 部署 elasticsearch 单节点

es.yaml # pv和pvc apiVersion: v1 kind: PersistentVolume metadata: name: es-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteM...

文章 2022-10-22 来自:开发者社区

【k8s】kubeadm部署单节点k8s

一、部署流程1.0 架构概况节点服务1.1 初始化操作#所有节点操作,关闭防火墙、selinux、swap交换、添加本地域名解析、调整内核参数、开启时间同步 systemctl disable --now firewalld iptables -F && iptables -t nat -F && iptables -t mangle -F && ....

问答 2022-08-22 来自:开发者社区

请问K8S下nacos部署的集群模式,现只启动单节点,seata服务是注册不上的吧?

请问K8S下nacos部署的集群模式,现只启动单节点,seata服务是注册不上的吧?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像