使用Flowise服务快速构建LLM应用
Flowise是一款面向开发者的开源低代码工具,用于构建定制的LLM应用工作流和Agent。开发LLM应用通常需要经历多次迭代,但Flowise可以通过低代码和拖拽式UI等方式,实现LLM应用的快速迭代,帮助您更快地从测试环境过渡到生产环境。本文将介绍如何基于Flowise服务平台构建一个LLM应用。
使用 NVIDIA NIM 在阿里云容器服务(ACK)中加速 LLM 推理
$stringUtil.substring( $!{XssContent1.description},200)...
使用TensorRT-LLM部署Qwen2模型推理服务
本文以Qwen2-1.5B-Instruct模型、GPU类型为A10卡为例,演示如何在ACK中使用Triton推理服务 + TensorRT-LLM部署通义千问模型推理服务。模型部署过程中使用Fluid Dataflow完成模型准备工作,并使用Fluid提升模型加载速度。
基于ACK使用rtp-llm部署Qwen模型推理服务
本文以Qwen1.5-4B-Chat模型、GPU类型为A10和T4卡为例,演示如何在ACK中使用rtp-llm框架部署通义千问(Qwen)模型推理服务。
容器服务 ACK 大模型推理最佳实践系列一:TensorRT-LLM
【阅读原文】戳:容器服务 ACK 大模型推理最佳实践系列一:TensorRT-LLM 在ACK中使用KServe部署Triton+TensorRT-LLM。本教程以Llama-2-7b-hf模型为例,演示如何在ACK中使用KServe部署Triton框架。Triton采用TensorRT-LLM后端。 背景介绍 &nb...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
+关注