[帮助文档] 基于KServe为服务配置弹性扩缩容策略

在部署与管理KServe模型服务过程中,需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA(Horizontal Pod Autoscaler)技术及扩缩容控制器,实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标,自动灵活地调整模型服务...

[帮助文档] 在ACK集群上通过容器化部署并运行Slurm

容器服务 Kubernetes 版 ACK(Container Service for Kubernetes)通过提供Slurm on Kubernetes解决方案及ack-slurm-operator应用组件,使得您能够在阿里云的ACK集群上便捷、高效地部署和管理Slurm(Simple Linu...

AI情绪鼓励师模型微调实操教学

1 课时 |
135 人已学 |
免费

跨越N次元 一键变身AI漫画人

1 课时 |
277 人已学 |
免费

AI人像动漫画实操教学

1 课时 |
205 人已学 |
免费
开发者课程背景图

[帮助文档] 使用Arena进行模型微调和模型管理

本文以大语言模型Qwen-7B-Chat为例,并结合Arena工具,演示如何在提交模型微调作业的同时,对模型微调作业所产生的模型进行管理。

[帮助文档] 什么是KServe

KServe是一个开源的云原生模型服务平台,旨在简化在Kubernetes上部署和运行机器学习模型的过程,支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件,提供声明式的API来部署模型,使得配置和管理模型服务变得更加容易。

[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

ACK AI 助手 beta 版现已全面上线

结合实际案例分享 K8s 运维/使用经验: * **案例背景**:在一个大型互联网公司,我们使用了 Kubernetes(K8s)来管理数百个微服务。这些服务需要高可用性、弹性伸缩和快速部署。 * **挑战**:随着服务数量的增加,手动管理和监控变得非常困难。此外,当出现问题时...

如何基于ACK Serverless快速部署AI推理服务

如何基于ACK Serverless快速部署AI推理服务

基于ACK Serverless(Alibaba Cloud Kubernetes Serverless Framework)快速部署AI推理服务的步骤如下: 创建函数计算服务: 在阿里云控制台,创建一个函数计算服务,用于托管AI推理服务的代码。编写AI推理代码: 使用适合的编程语言编写AI推理.....

阿里云容器服务ACK AI助手正式上线带来的便利性

阿里云容器服务ACK AI助手正式上线带来的便利性

前言 作为开发者想必大家都知道,云原生容器技术的优势,尤其是近两年的随着容器技术的迅猛发展,Kubernetes(K8s)已成为广泛应用于容器编排和管理的领先解决方案,但是K8s的运维复杂度一直是挑战之一。为了应对这一问题,就在最近,阿里云容器服务团队正式发布了ACK AI助手,这是一款旨在通过大模...

阿里云容器服务 ACK AI 助手正式上线,你都有哪些期待?

近阿里云容器服务团队正式发布 ACK AI 助手,带来大模型增强智能诊断,帮助企业和开发者降低 K8s 的运维复杂度。这款国内首家云原生容器场景的原生 AI 产品 —— ACK AI 助手 beta 版现已全面上线。 点击了解及体验ACK AI 助手 beta 版 本期话题: 1、请结合实际案例分享...

期待已久!阿里云容器服务 ACK AI 助手正式上线

期待已久!阿里云容器服务 ACK AI 助手正式上线

作者:行疾大模型技术的蓬勃发展持续引领 AI 出圈潮流,各行各业都在尝试采用 AI 工具实现智能增效。2023 年云栖大会上,阿里云容器服务团队正式发布 ACK AI 助手,带来大模型增强智能诊断,帮助企业和开发者降低 K8s 的运维复杂度。这款国内首家云原生容器场景的原生 AI 产品 —— ACK...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云机器学习平台PAI
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
2435+人已加入
加入
相关电子书
更多
阿里云云原生技术实践营 AI 原生应用架构专场·北京站
飞天技术沙龙 AI 原生应用架构专场·北京站
智算时代,基于 ACK 落地云原生AI
立即下载 立即下载 立即下载