
阿里云 AI 网关是 API 网关的子产品,作为企业级 AI 流量中枢,提供多模型统一代理与 Fallback、AI 安全防护、Token 计量计费与效果优化等能力,并高效管理 MCP 与 Agent,让 LLM 调用更可控、更安全、更经济。



多模型统一代理与 Fallback
● 提供 LLM 统一代理,支持对接所有主流模型服务提供商,同时兼容基于 Ollama、vLLM、SGLang 等自建模型服务。
● 提供模型 Fallback,支持多种限流、负载均衡策略,保障模型调用稳定可靠。
● 支持代理文本、图片、音视频、向量化等多模态场景模型服务。
● 集成阿里云 ARMS、SLS 提供 AI 可观测能力,支持 AI 请求全链路日志追踪与监控告警。
AI 安全与防护
● 集成阿里云 AI 安全护栏,覆盖敏感信息过滤、内容合规、提示词注入、爆破攻击等场景。
● 基于消费者提供多种认证鉴权策略,包括 KEY-Auth、HMAC-Auth、JWT-Auth、Basic-Auth、OIDC 等。
● 基于插件提供 WAF 防护、TSL 加密、WASM 沙箱机制、IP 限制、CORS、参数访问控制等多种安全防护能力。
Token 计量计费与效果优化
● 提供消费者维度的 Token 消费数据统计,方便资源计量计费。
● 提供语义缓存降低模型重复调用,通过智能路由选择最优模型,支持 Token 压缩, 降低 Token 消耗。
● 基于提示词模板、意图识别、RAG 等插件,实现对 Prompt 的管理与优化,提升模型输出效果。
MCP 与 Agent 统一管理
● 支持 MCP 服务代理,提供 RESTful API 至 MCP 服务的平滑迁移能力。
● 提供 MCP 虚拟服务进行工具重组,支持语义检索智能选择 MCP 工具,提升工具检索效率,降低 Token 消耗。
● 支持 Agent API 代理,统一管理百炼、Dify 以及其他智能体平台的 Agent 应用。
面向 LLM,统一代理各主流大模型和自建大模型服务,OpenAI 兼容,并提供模型 Fallback、Token 限流、负载均衡、AI 安全防护、二次 API KEY 签发、观测等治理能力。

访问安全
采用控制面与数据面分离架构,确保数据面敏感信息安全。支持证书管理/mTLS/三方认证/自定义鉴权/黑白名单等强大安全能力。
内容安全
集成阿里云内容安全服务,保护和大模型交互时的数据安全,既对输入到外部模型的数据进行隐私保护,又对输出给用户的数据进行内容过滤。
扩展安全
支持 Wasm 安全沙箱,通过轻量隔离、权限严控、代码校验三大核心能力,为逻辑扩展提供原生安全保障。
流量防护安全
集成阿里云 WAF,提供流量防护功能,同时支持实例级别防护和路由级别防护,可以有效识别 Web 业务流量的恶意特征。
AI 网关在多个行业沉淀了很多标杆案例,以样板间的作用帮助各个企业快速构建 AI 应用的基础设施,提升可用性、安全性和易用性。


