阿里云文档 2025-01-13

基于Knative部署vLLM推理应用

传统的基于GPU利用率的弹性伸缩策略无法准确反映大模型推理服务的实际负载情况,即使GPU利用率达到了100%,也不一定表明系统正处在高负荷运行状态。Knative提供的自动扩缩容机制KPA(Knative Pod Autoscaler)能够根据QPS或RPS来调整资源分配,更直接地反映推理服务的性能表现。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何在Knati...

阿里云文档 2025-01-09

使用数据盘快照加速大模型应用启动

ACK节点池支持为新增节点配置数据盘,并使用预先存在的数据盘快照进行初始化。该快照可以包含所有必要的缓存数据,如预下载的容器镜像、预训练的大规模机器学习模型、系统所需镜像及其他关键的静态资源。每当有新节点加入节点池时,它将自动从快照中恢复这些缓存数据,大幅缩短首次运行数据加载时间。本文通过两个场景展示如何利用数据盘快照加速工作负载和节点初始化的部署速度。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

阿里云文档 2024-12-19

通过云效流水线使用K8s YAML文件部署应用至SAE

您可以通过云效流水线从源码仓库构建镜像,并使用K8s YAML文件自动部署SAE应用。本文将通过简单的示例演示上述流程,并引导您将其用于实际业务。

文章 2024-12-10 来自:开发者社区

赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读

  随着AI工作负载的爆炸式增长,服务提供商和企业需要加速计算,以安全高效地在大规模云上交付高性能的AI应用。前段时间,F5公司宣布推出一项全新的创新AI应用交付和应用安全解决方案,即BIG-IP Next for Kubernetes。那么该方案有何性能优势,是否通过实践验证?本文将为你全面解读。     F5...

赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读
阿里云文档 2024-11-13

微服务应用接入MSE治理中心进行微服务治理

您可以将部署在容器服务 Kubernetes 版中的Spring Cloud和Dubbo等微服务应用接入MSE治理中心,使用MSE提供的一系列服务治理能力,大幅提升线上微服务的稳定性和开发效率,本文介绍如何将ACK微服务应用接入MSE治理中心。

文章 2022-02-17 来自:开发者社区

线下Springboot+dubbo应用迁kubernetes方案

    随着微服务应用架构的兴起,当前很多用户在开发测试生产上已经采用微服务的理念进行应用的架构设计及部署。常用的框架比如dubbo,springcloud等都已经在大规模进行使用了。当前kubernetes云原生应用的最佳部署平台,如何将线下的微服务应用迁移到kubernetes成为用户的一个难题,本文将以springboot+dubbo为例进行迁移的方案介绍。 1 典型的s...

文章 2022-02-14 来自:开发者社区

使用GitLab CI/CD部署应用到Kubernetes集群的方案

最近业余时间调研了一下在GitLab CI/CD中部署应用到Kubernetes的方案。这是一个老生常谈的话题,很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的,只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。本方案的好处就是,读者不需要了解太多关K8s相关知识也可以实现该方案。Kubernets的命令行工具是kubectl。就像我们使用docke....

使用GitLab CI/CD部署应用到Kubernetes集群的方案

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像