使用LLM智能路由提升推理效率
在大语言模型（LLM）应用场景中，存在资源需求不确定性、后端推理实例负载不均衡等问题。为了优化这类问题，EAS引入了LLM智能路由基础组件，在请求调度层，基于LLM场景所特有的Metrics（指标），来动态进行请求分发，保证后端推理实例处理的算力和显存尽可能均匀，提升集群资源使用水位。
使用TensorRT-LLM优化大语言模型在GPU上的推理性能
在处理大语言模型任务时，您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM，然后通过使用TensorRT-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型等）在GPU上的高性能推理优化功能。本文为您介绍安装和使用TensorRT-LLM的方法。
使用DeepGPU-LLM容器镜像快速构建大语言模型在GPU上的推理环境
$stringUtil.substring( $!{XssContent1.description},200)...
2024年6月后2周重要的大语言模型论文总结：LLM进展、微调、推理和对齐
本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。 LLM进展与基准 1、 BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions 自动化软件工程近期...
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性
使用阿里云ECS DeepGPU后，LLM微调训练场景和Stable Diffusion推理场景的性能有何提升？
大语言模型（ LLM）推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。