AI 网关

    Agent 构建必备,让 LLM 和 MCP 调用更可控、更安全、更经济

    多模型统一代理

    模型 Fallback、Token 限流、负载均衡等

    AI 安全与防护

    保障内容合规和敏感信息过滤等

    Token 管控

    智能路由、语义缓存、Token 压缩等

    MCP 管理

    REST to MCP 自动转换,MCP 动态组装和智能路由
    预览图
    产品简介
    产品介绍图片

    阿里云 AI 网关是 API 网关的子产品,作为企业级 AI 流量中枢,提供多模型统一代理与 Fallback、AI 安全防护、Token 计量计费与效果优化等能力,并高效管理 MCP 与 Agent,让 LLM 调用更可控、更安全、更经济。

    产品优势
  • 开箱即用免运维
    开箱即用免运维
    LLM 负载均衡、智能路由、认证鉴权、协议转化能力、路由级限流降级、多种服务发现。
  • 软硬一体高可用
    软硬一体高可用
    服务器、操作系统和网关软硬一体,性能提升1倍以上,多 AZ 部署、节点异常自愈等设计。
  • 生态集成一体化
    生态集成一体化
    和云产品无缝集成,提供完整、持续演进的可观测体系/安全认证体系。
  • 产品功能

    多模型统一代理与 Fallback

    ● 提供 LLM 统一代理,支持对接所有主流模型服务提供商,同时兼容基于 Ollama、vLLM、SGLang 等自建模型服务。

    ● 提供模型 Fallback,支持多种限流、负载均衡策略,保障模型调用稳定可靠。

    ● 支持代理文本、图片、音视频、向量化等多模态场景模型服务。

    ● 集成阿里云 ARMS、SLS 提供 AI 可观测能力,支持 AI 请求全链路日志追踪与监控告警。

    AI 安全与防护

    ● 集成阿里云 AI 安全护栏,覆盖敏感信息过滤、内容合规、提示词注入、爆破攻击等场景。

    ● 基于消费者提供多种认证鉴权策略,包括 KEY-Auth、HMAC-Auth、JWT-Auth、Basic-Auth、OIDC 等。

    ● 基于插件提供 WAF 防护、TSL 加密、WASM 沙箱机制、IP 限制、CORS、参数访问控制等多种安全防护能力。

    Token 计量计费与效果优化

    ● 提供消费者维度的 Token 消费数据统计,方便资源计量计费。

    ● 提供语义缓存降低模型重复调用,通过智能路由选择最优模型,支持 Token 压缩, 降低 Token 消耗。

    ● 基于提示词模板、意图识别、RAG 等插件,实现对 Prompt 的管理与优化,提升模型输出效果。

    MCP 与 Agent 统一管理

    ● 支持 MCP 服务代理,提供 RESTful API 至 MCP 服务的平滑迁移能力。

    ● 提供 MCP 虚拟服务进行工具重组,支持语义检索智能选择 MCP 工具,提升工具检索效率,降低 Token 消耗。

    ● 支持 Agent API 代理,统一管理百炼、Dify 以及其他智能体平台的 Agent 应用。

    应用场景
    • AI 应用访问大模型的统一入口
    • MCP Server 统一管理和访问

    AI 应用访问大模型的统一入口

    面向 LLM,统一代理各主流大模型和自建大模型服务,OpenAI 兼容,并提供模型 Fallback、Token 限流、负载均衡、AI 安全防护、二次 API KEY 签发、观测等治理能力。

    AI 应用访问大模型的统一入口
    入门与试用
    产品定价

    我们提供了专享实例包年包月、专享实例按量付费、 Serverless 按量付费三种方式。

    • 专享实例(包年包月)

      包年包月也称为预付费,即在新建实例前支付费用。计费项由网关实例费用、数据处理费用以及公网流量费用组成。 适用场景:适合长期需求,购买时长越长,折扣越多。
      查看详情
    • 专享实例(按量付费)

      按量付费是一种先使用后付费的计费方式,创建实例后,阿里云每小时自动按照实例资源的使用量从账号中扣除相关费用。计费项由网关实例费用、数据处理费用以及公网流量费用组成。 适用场景:适合短期需求,用完可立即释放实例,节省费用。
      查看详情
    • Serverless(按量付费)

      按调用量先使用后付费的计费方式,按调用量自动弹性伸缩,无需管理底层资源,实现免运维。计费项由请求 CU 费用和公网流量费用组成。 适用场景:适合快速迭代、高度弹性场景,按量付费、免运维。
      查看详情
    安全合规

    访问安全

    采用控制面与数据面分离架构,确保数据面敏感信息安全。支持证书管理/mTLS/三方认证/自定义鉴权/黑白名单等强大安全能力。

    内容安全

    集成阿里云内容安全服务,保护和大模型交互时的数据安全,既对输入到外部模型的数据进行隐私保护,又对输出给用户的数据进行内容过滤。

    扩展安全

    支持 Wasm 安全沙箱,通过轻量隔离、权限严控、代码校验三大核心能力,为逻辑扩展提供原生安全保障。

    流量防护安全

    集成阿里云 WAF,提供流量防护功能,同时支持实例级别防护和路由级别防护,可以有效识别 Web 业务流量的恶意特征。

    客户案例

    AI 网关在多个行业沉淀了很多标杆案例,以样板间的作用帮助各个企业快速构建 AI 应用的基础设施,提升可用性、安全性和易用性。

    bannerbanner
    1
    国泰产险
    国泰访问大模型的流量均通过 AI 网关代理,日均消耗近亿 Token 的同时,做到了对每个请求都进行敏感信息过滤,不论是输入大模型的内容还是大模型产生的内容都进行了全面审计,降低使用大模型的数据安全风险。通过网关的 AI 插件,国泰产险做到了每个 Token 知道谁在用,用在哪个场景,给后续分析和成本管控提供数据支撑。
    了解更多
    2
    森马
    森马快速实现 AI 转型,通过阿里云 AI 网关(即 Higress 企业版)及注册配置中心 Nacos3.0 实现了多模型多 MCP server 统一接入统一管理统一配置,将存量服务一键转换为 MCP server,使 AI 与生产业务相结合,综合提效 30%。
    了解更多
    常见问题
    Q:AI 网关和开源自建对比优势
    A:从 AI 能力、成本、稳定性、性能、安全合规等多维度介绍 AI 网关与 Higress 开源版的差异。查看详情
    Q:专享实例和 Serverless 实例的对比
    A:从版本的各项能力、参数、配额与限制说明,帮助用户选择合适的版本与规格。查看详情
    Q:如何通过 AI 网关实现大模型内容的安全输出
    A:AI 网关能够保护和大模型交互时的数据安全,一方面对输入到外部模型的数据进行隐私保护,另一方面对输出给用户的数据进行内容过滤。查看详情
    Q:如何通过 AI 网关精准控制 API 访问权限
    A:通过API key 的认证方式验证调用者的身份,精准控制 API 访问权限,实现多租户细粒度管控,保障敏感数据隔离与合规调用,有效防止未授权访问和资源滥用。查看详情
    Q:如何通过 AI 网关管理 MCP 服务
    A:AI 网关支持通过 OpenAPI 管理 MCP 服务,降低 MCP 服务接入和迭代成本。查看详情