CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
随着大型语言模型（LLM）在智能设备上的广泛应用，如何在资源受限的边缘设备上高效部署LLM成为了一个关键问题。最近，微软研究院提出了一种名为T-MAC的创新方法，通过查表法（LUT）在CPU上实现低比特LLM（即权重量化LLM）的高效推理。T-MAC直接支持混合精度矩阵乘...
使用EAS部署语言模型
EAS（Elastic Algorithm Service）是PAI针对在线推理场景提供的模型在线服务。当您需要自动化部署和应用LLM大语言模型时，EAS为您提供了一键式解决方案。通过EAS，您能够轻松部署支持WebUI和API调用的LLM应用。部署LLM应用后，您可以利用LangChain框架集成企业知识库，以实现智能问答和自动化功能。此外，EAS还配备了BladeLLM与vLLM等推理加速引擎...
使用TensorRT-LLM部署Qwen2模型推理服务
本文以Qwen2-1.5B-Instruct模型、GPU类型为A10卡为例，演示如何在ACK中使用Triton推理服务 + TensorRT-LLM部署通义千问模型推理服务。模型部署过程中使用Fluid Dataflow完成模型准备工作，并使用Fluid提升模型加载速度。
在GPU云服务器上快速部署TensorRT-LLM以构建大语言模型的推理环境
在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析等自然语言处理业务场景。本文为您介绍如何在GPU实例上安装和使用TensorRT-LLM来快速构建大语言模型的高性能推理优化功能。
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程 Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。通过 Xorbits Infe.....
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发 1. Ollama 部署的本地模型() Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。，这是 Ollama 的官网地址：https://ollama.com/ 以下是其主要特点和功能概述： 简化部署：Ollam...
通过EAS部署LLM大语言模型
EAS提供了场景化部署方式，您只需配置几个参数，即可一键部署流行的开源LLM大语言模型服务应用，以获得大模型的推理能力。本文为您介绍如何通过EAS一键部署和调用LLM大语言模型服务，以及常见的问题和解决方法。
基于ACK使用rtp-llm部署Qwen模型推理服务
本文以Qwen1.5-4B-Chat模型、GPU类型为A10和T4卡为例，演示如何在ACK中使用rtp-llm框架部署通义千问（Qwen）模型推理服务。
ModelScope中，对于部署llm，在需要使用多张gpu时，是不是推荐使用偶数张gpu？
ModelScope中，对于部署llm，在需要使用多张gpu时，是不是推荐使用偶数张gpu？
一键云部署：资源编排 ROS 轻松部署 LLM 流程编排服务 Flowise
Flowise是一个开源的低代码工具，供开发者构建定制化的 LLM 流程编排和 AI 代理。资源编排服务（Resource Orchestration Service, ROS）是阿里云提供基于基础设施即代码（Infrastructure as Code, IaC） 理念的自动化部署服务，我们可以通过定义一个 JSON/YAML/Terraform 模板，轻松部署一套云上的 Flowise 环境....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。