在ACK中实现AI内容安全合规审查
在ACK上运行生成式AI服务时，为实现内容合规性审查，可利用Gateway API推理扩展配置ACKTrafficFilter插件对接阿里云内容安全审核服务，从而在网关层自动拦截不当内容，满足相关监管和法规要求。
ack-cgpu组件介绍与变更说明
ack-cgpu是ACK专有集群上支持共享GPU调度能力的组件，通过GPU共享调度框架，实现多个容器共享同一GPU设备，进而降低使用成本。本文介绍ack-cgpu变更记录。
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
为LLM推理服务配置监控
在生产环境中LLM推理服务的可观测性是至关重要的，可以监控LLM推理服务、推理服务Pod及相关GPU的性能指标，有效发现性能瓶颈，帮助定位故障。本文介绍如何为LLM推理服务配置监控。
带你读《云原生架构白皮书2022新版》——vivo AI计算平台的ACK混合云实践
各个行业面临的挑战及解决方案vivo AI计算平台的ACK混合云实践2、业务容器创建失败，报找不到 loopback 插件。terway 没有像 calico-node 一样在 /opt/cni/bin/ 目录下部署 loopback 插件 ( 创建回环网络接口 )。我们给 terway daemonset 添加了 InitContainer 来部署 loopback 插件，解决了问题。3、业务....
《云原生架构容器&微服务优秀案例集》——01 互联网——vivo AI 计算平台的 ACK One 混合云实践
客户简介vivo 是一家以设计驱动创造产品，以智能终端和智慧服务为核心的科技公司。客户痛点资源交付周期长 ： 此前使用自建机房， 新增资源的采购流程复杂， 周期长，无法及时响应业务临时的大量算力需求， 例如大规模参数模型的训练和在线服务的节假日活动扩容。同时由于服务器供应链形势严峻，网卡、硬盘、GPU 卡等硬件设备都缺货，采购交付存在较大风险。需要更高性能的基础设施 ： AI 计算平台对网络、 ....
《2023云原生实战案例集》——01 汽车/制造——VIVO AI计算平台的ACK One混合云实践
客户简介vivo是一家以设计驱动创造产品/以智能终端和智慧服务为核心的科技公司。客户痛点•资源交付周期长：此前使用自建机房/新增资源的采购流程复杂/周期长/无法及时 响应业务临时的大量算力需求,例如大规模参数模型的训练和在线服务的节假日活动 扩容。同时由于服务器供应链形势严峻,网卡、硬盘、GPU卡等硬件设备都缺货/采 购交付存在较大风险。•需要更高性能的基础设施：AI计算平台对网络、....
vivo AI 计算平台的 ACK 混合云实践
作者｜刘东阳、吴梓洋2018 年底，vivo AI 研究院为了解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点，着手建设 AI 计算平台。经过两年多的持续迭代，平台建设和落地取得了很大进展，成为 vivo AI 领域的核心基础平台。平台从当初服务深度学习训练为主，到现在演进成包含 VTraining、VServing、VContainer 三大模块，对外提供模型训练、模型推....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注