阿里云文档 2024-12-06

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2024-11-12

构建nodejs应用并部署到ACK

通过使用流水线Flow,自动化构建Node.js应用镜像,并推送到ACR镜像仓库,由ACK集群发布YAML对象资源应用部署,完成整条自动化流水线任务。

阿里云文档 2024-11-01

AI模型推理服务在Knative中最佳配置实践

Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,适用于需要频繁调整计算资源的AI应用场景,例如模型推理等。您可以通过Knative Pod部署AI模型推理任务,配置自动扩缩容、灵活分配GPU资源等功能,提高AI推理服务能力和GPU资源利用率。

阿里云文档 2024-10-17

在Windows节点池中部署工作负载的最佳实践

您可以将待部署的Windows应用制作成Docker镜像,便于后续在集群中部署工作负载时进行拉取。镜像制作完成后,您可以在ACK集群中创建Windows节点池,并将镜像部署到Windows节点上。

文章 2024-10-12 来自:开发者社区

Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排

代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 背景介绍 单机模式 在之前的章节中,已经验证过,但是实际运行的时候,我们是需要提交到服务器去运行的。 集群模式 在之...

Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
阿里云文档 2024-10-09

如何在ACK托管版集群中部署Keycloak服务并进行身份认证

本文介绍如何在ACK托管集群中部署Keycloak服务,并将Keycloak作为K8s OpenID Connect的认证服务器,实现在ACK托管集群上的身份认证。

文章 2023-02-01 来自:开发者社区

开源项目:kubernetes+rancher部署ferry工单系统(20210820)

效果ferry是一个开源项目,主要使用go语言编写,想了解更多看下项目地址吧项目gitlab地址:https://github.com/lanyulei/ferry演示demo地址:http://fdevops.com:8001/账号密码:admin/123456前提本篇域名已经写死到容器内部了(前后端)域名:devferry.wmqhealth.com如果想修改成其他的,可以看下面介绍部署到k....

开源项目:kubernetes+rancher部署ferry工单系统(20210820)
文章 2020-08-11 来自:开发者社区

Kubernetes(二) - 使用Rancher部署K8S集群(搭建Rancher)

众所周知Kubernetres虽然很好但是安装部署很复杂,Rancher功能很强大,我们这里仅仅使用Rancher来搭建管理Kubernetes集群Kubernetes官方文档:https://kubernetes.io/docs/reference/Kubernetes官方Git地址:https://github.com/kubernetes/kubernetesRancher官方地址: ht....

Kubernetes(二) - 使用Rancher部署K8S集群(搭建Rancher)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像