在ACK中实现AI内容安全合规审查
在ACK上运行生成式AI服务时，为实现内容合规性审查，可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务，从而在网关层自动拦截不当内容，满足相关监管和法规要求。
ack-cgpu组件介绍与变更说明
ack-cgpu是ACK专有集群上支持共享GPU调度能力的组件，通过GPU共享调度框架，实现多个容器共享同一GPU设备，进而降低使用成本。本文介绍ack-cgpu变更记录。
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
为LLM推理服务配置监控
在生产环境中LLM推理服务的可观测性是至关重要的，可以监控LLM推理服务、推理服务Pod及相关GPU的性能指标，有效发现性能瓶颈，帮助定位故障。本文介绍如何为LLM推理服务配置监控。
阿里云容器服务ACK AI助手正式上线带来的便利性
前言 作为开发者想必大家都知道，云原生容器技术的优势，尤其是近两年的随着容器技术的迅猛发展，Kubernetes（K8s）已成为广泛应用于容器编排和管理的领先解决方案，但是K8s的运维复杂度一直是挑战之一。为了应对这一问题，就在最近，阿里云容器服务团队正式发布了ACK AI助手，这是一款旨在通过大模型增强智能诊断的产品，旨在帮助企业和开发者降低Kubernetes（K8s）的运维复杂度。...
阿里云容器服务 ACK AI 助手正式上线，你都有哪些期待？
近阿里云容器服务团队正式发布 ACK AI 助手，带来大模型增强智能诊断，帮助企业和开发者降低 K8s 的运维复杂度。这款国内首家云原生容器场景的原生 AI 产品 —— ACK AI 助手 beta 版现已全面上线。 点击了解及体验ACK AI 助手 beta 版 本期话题： 1、请结合实际案例分享一下你的 K8s 运维/使用经验。 2、你认为ACK AI 助手能够有效降低K8s 的运维复杂度吗....
阿里云容器服务ACK云原生AI套件测评
一、背景介绍随着人工智能（AI）技术的快速发展，越来越多的企业开始在其业务中引入AI能力，以提高运营效率、优化用户体验，以及创造新的商业价值。像我们这种小型企业也不例外，希望通过集成先进的AI技术来提升业务运营的智能化水平。在这样的背景下，阿里云容器服务ACK推出了云原生AI套件，它能够帮助企业在Kubernetes容器平台上快速构建和运行AI应用，实现全栈优化。二、产品能力通过开通云原生AI套....
阿里云最新产品手册——阿里云核心产品——分布式云容器平台ACK One——ACK云原生AI套件
阿里云最新产品手册——阿里云核心产品——分布式云容器平台ACK One——ACK云原生AI套件自制脑图
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注