使用DeepSeek-R1模型搭建RAG系统
DeepSeek-R1系列模型是一款专注于复杂推理任务的大语言模型，在复杂指令理解、推理结果准确性、性能稳定性等方面相比其他大语言模型，有一定优势。OpenSearch LLM智能问答版已集成DeepSeek-R1系列模型，进一步提升企业级RAG效果，本文向您介绍使用步骤。
使用DeepGPU-LLM镜像构建模型的推理环境
在GPU实例上配置DeepGPU-LLM容器镜像后，可以帮助您快速构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析、编程辅助等自然语言处理业务场景，您无需深入了解底层的硬件优化细节，镜像拉取完成后，无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用DeepGPU-LLM容器镜像构建大语言模型的...
使用TensorRT-LLM构建模型的推理环境
在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。
基于ModelScope模型库和浅休眠（原闲置）GPU弹性实例低成本快速搭建LLM应用
LLM（Large Language Model）是指大型语言模型，是一种采用深度学习技术训练的具有大量参数的自然语言处理模型。您可以基于ModelScope模型库和函数计算的浅休眠（原闲置）弹性实例低成本快速搭建LLM应用实现智能问答。
企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南
DeepSeek凭借其出色的推理表现在春节期间火爆全网，本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。 背景介绍 1. DeepSeek R1模型 DeepSeek-R1[1]模型是DeepSeek推出的第一代推理模型，旨在通过大规模强化学习提升大语言模型的推理能力。实验结果表明，Deep...
企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南
【阅读原文】戳：企业级LLM推理部署新范式：基于ACK的DeepSeek蒸馏模型生产环境落地指南 DeepSeek凭借其出色的推理表现在春节期间火爆全网，本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。 背景介绍 ...
OpenSearch-LLM智能问答版支持的向量模型
OpenSearch-LLM智能问答版内置五种向量模型，可以根据实际需求选择相应的向量模型来进行实例配置，本文介绍如何查看内置向量模型列表。
LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理
近日，来自卡耐基梅隆大学（CMU）的 Catalyst Group 团队发布了一款「投机式推理」引擎 SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。