缓存
在重复性强的 AI 请求场景，通过将大语言模型（LLM）生成的响应结果缓存到 Redis 数据库中，避免重复调用大语言模型，提升响应速度。本文将为您介绍缓存策略的功能优势，以及开启步骤。
联网搜索
联网搜索策略能够扩展大语言模型的知识范围，通过实时检索互联网数据（支持夸克和必应搜索引擎），提升生成内容的准确性与时效性。本文将为您介绍AI API 联网搜索策略的功能优势，以及开启步骤。
为云原生API网关配置内网DNS server
为服务配置DNS服务器可以实现高效、安全的内部域名解析，确保内部服务的访问稳定性和可靠性。通过合理配置DNS服务器，可以实现对内部服务域名的集中管理，避免因外部DNS故障或网络波动导致的服务不可用问题。
限流
API限流策略专为大模型服务及高并发调用场景设计，采用基于调用Token量的动态控制机制，取代传统请求数或请求体积的限流方式。该策略可针对消费者身份、请求Header参数、Query参数、客户端IP等多维度配置限流规则，根据单次API调用消耗的Token总量进行实时计费和流量管控。这种以Token消耗为核心的限流模式能精准匹配大模型计算资源消耗特性，有效防止系统过载、接口滥用及恶意调用，同时保障核...
【阿里云云原生专栏】云原生下的API管理：阿里云API Gateway的应用场景与优势
在云原生时代，应用程序的构建和部署方式发生了根本性的变革，微服务架构、容器化、持续集成/持续部署(CI/CD)等技术成为了现代软件开发的标准实践。而在这场技术革命中，API（应用程序编程接口）作为服务间通信的关键桥梁，其管理和优化显得尤为重要。阿里云API Gateway作为一款高性能、高可用的API托管服务&#...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
