API 网关负责协调和管理各种 API 请求,是 Web 应用和 AI 应用的关键基础设施。阿里云 API 网关分为原 API 网关和云原生 API 网关两个产品系列。原 API 网关提供 API 托管服务,云原生 API 网关将流量网关、微服务网关、安全网关和 AI 网关四合一,是高性能、高扩展性网关,并提供丰富的大模型 API 管理插件。
我们通过云原生 API 网关,将流量、安全、微服务网关三合一,大幅降低请求链路条数、降低架构复杂度、运维和故障排查成本,例如降低整个链路 RT 峰值从500ms下降至峰值50ms,服务发布期间502降为0,499平均降低10%等。
Soul
Current Time 0:00
/
Duration Time 0:00
Progress: NaN%
“
云原生 API 网关帮助我们统一了网关架构,降低 50% 的资源成本。此外,全链路灰度方案通过“流量泳道”,快速拉起隔离的开发环境,提升研发效率、节省资源开销。另外,任务调度 SchedulerX 针对 App 社区定时推荐、在线订单定时确认、用户定时通知等场景实现了统一管理和调度,并与云产品(监控、日志)打通,提升易用性。
极氪汽车
Current Time 0:00
/
Duration Time 0:00
Progress: NaN%
“
茶百道使用云原生 API 网关替代了原有的 Traefik ingress,整体性能提升 1 倍,并且做到了 ingress 通用规则的平滑迁移。
茶百道
Current Time 0:00
/
Duration Time 0:00
Progress: NaN%
“
目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理,在日均消耗近亿 Token 的同时,做到了对每个请求都进行敏感信息过滤,不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计,大大降低使用大模型的数据安全风险。通过网关的 AI 插件,国泰产险做到了每个 Token 都知道是谁在用,用在哪个场景,给后续分析和成本管控提供了坚实的数据支撑。