[帮助文档] 使用LLM Gateway提升推理效率

在大语言模型(LLM)应用场景中,存在资源需求不确定性、后端推理实例负载不均衡等问题。为了优化这类问题,EAS引入了LLM Gateway基础组件,在请求调度层,基于LLM场景所特有的Metrics(指标),来动态进行请求分发,保证后端推理实例处理的算力和显存尽可能均匀,提升集群资源使用水位。

gateway调用后台系统时选择RFC的决定逻辑

gateway调用后台系统时选择RFC的决定逻辑

RFC destination是由destination finder决定的:destination_finder是一个singleton:通过system alias获得RFC destination name:问题从而转化为该proxy class的mv_system_alias何时被赋值:通过...

SAP ABAP gateway调用后台系统时选择RFC的决定逻辑

SAP ABAP gateway调用后台系统时选择RFC的决定逻辑

RFC destination是由destination finder决定的:destination_finder是一个singleton:通过system alias获得RFC destination name:[外链图片转存失败(img-v3xdqvYQ-1568687817531)(https...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

开发与运维
开发与运维
集结各类场景实战经验,助你开发运维畅行无忧
6427+人已加入
加入