进阶版|企业级 AI Agent 的构建实践
我们将构建 AI 应用扩展到了运行时和可观测,并尝试将 Agent、LLM、MCP 服务这几者之间如何有机协作尽量清晰化,未来还会扩展到Memory、LiteMQ 等更完整的技术栈,旨在帮助大家厘清完整的企业级 AI 应用构建的最佳实践。
2025-07-31
协调和管理各类 API 和 AI 请求,是构建应用的关键基础设施。
API 网关
进阶版|企业级 AI Agent 的构建实践
我们将构建 AI 应用扩展到了运行时和可观测,并尝试将 Agent、LLM、MCP 服务这几者之间如何有机协作尽量清晰化,未来还会扩展到Memory、LiteMQ 等更完整的技术栈,旨在帮助大家厘清完整的企业级 AI 应用构建的最佳实践。
2025-07-31
不增加 GPU,首 Token 延迟下降50%|LLM 服务负载均衡的新实践
针对LLM服务的特点,Higress AI网关以插件形式提供了面向LLM服务的负载均衡算法,包括全局最小请求数负载均衡、前缀匹配负载均衡以及GPU感知负载均衡,能够在不增加硬件成本的前提下,提升系统的吞吐能力、降低响应延迟,并实现更公平、高效的任务调度。
2025-07-25
垂直和领域 Agent 的护城河:上下文工程
技术术语的更迭,不仅是语言表达的更替,更代表着思维范式的转变。上下文工程这一新术语,之所以能引起业内共鸣,折射的是智能体复杂性的演化和应对策略的转变,是对现实中算法和工程挑战的一种集体回应,尤其是在垂直/领域的智能体。
2025-07-14