在ACK中实现AI内容安全合规审查
在ACK上运行生成式AI服务时，为实现内容合规性审查，可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务，从而在网关层自动拦截不当内容，满足相关监管和法规要求。
ack-cgpu组件介绍与变更说明
ack-cgpu是ACK专有集群上支持共享GPU调度能力的组件，通过GPU共享调度框架，实现多个容器共享同一GPU设备，进而降低使用成本。本文介绍ack-cgpu变更记录。
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
为LLM推理服务配置监控
在生产环境中LLM推理服务的可观测性是至关重要的，可以监控LLM推理服务、推理服务Pod及相关GPU的性能指标，有效发现性能瓶颈，帮助定位故障。本文介绍如何为LLM推理服务配置监控。
带你读《阿里云产品六月刊》——十六、任意门基于 ACK 云原生 AI 套件打造人工智能社交网络平台
客户介绍 Soul是任意门旗下基于兴趣图谱和游戏化玩法的社交App，是为新一代年轻人而设的虚拟社交平台。Soul App基于用户的社交画像和兴趣图谱，通过机器学习为用户推荐志趣相投的伙伴，支持丰富的AI业务场景，包括语音匹配、聊天机器人、文本OCR识别、图像识别、多模态等。 业务挑战 AI机器学习是公司核心业务，但在传统的虚拟机部署方式下，缺乏一个统一的管控平台，导致业务...
神龙AI上部署stable-diffusion(SD加速) 有ack的部署方式吗？
神龙AI上部署stable-diffusion(SD加速) 有ack的部署方式吗？
ACK AI 助手 beta 版现已全面上线
结合实际案例分享 K8s 运维/使用经验： * **案例背景**：在一个大型互联网公司，我们使用了 Kubernetes（K8s）来管理数百个微服务。这些服务需要高可用性、弹性伸缩和快速部署。 * **挑战**：随着服务数量的增加，手动管理和监控变得非常困难。此外，当出现问题时...
如何基于ACK Serverless快速部署AI推理服务
基于ACK Serverless（Alibaba Cloud Kubernetes Serverless Framework）快速部署AI推理服务的步骤如下： 创建函数计算服务： 在阿里云控制台，创建一个函数计算服务，用于托管AI推理服务的代码。编写AI推理代码： 使用适合的编程语言编写AI推理...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注