基于专家并行和PD分离部署MoE模型
混合专家模型（MoE）通过“稀疏激活”机制，在实现万亿级参数规模的同时降低计算成本，但也给传统推理部署带来挑战。专家并行（EP）是一种专为MoE设计的分布式策略，它将不同专家部署在不同GPU上，通过动态路由请求，有效解决显存瓶颈、提升并行计算性能，并显著降低部署成本。本文介绍在PAI-EAS上，为MoE模型启用专家并行（EP）和Prefill-Decode（PD）分离部署，以实现更高的推理吞吐和成...
139_剪枝优化：稀疏模型压缩 - 分析结构化剪枝的独特速度提升与LLM部署加速实践
引言 随着大语言模型(LLM)规模的不断增长，模型参数量已从最初的数亿扩展到数千亿甚至万亿级别。这种规模的模型在推理过程中面临着巨大的计算和内存挑战，即使在最先进的硬件上也难以高效部署。剪枝优化作为一种有效的模型压缩技术，通过移除冗余或不重要的参数，在保持模型性能的同时显著减少计算资源需求。 结构化剪枝作为剪枝技术的一个重要分支...
134_边缘推理：TensorFlow Lite - 优化移动端LLM部署技术详解与实战指南
引言 在人工智能与移动计算深度融合的今天，将大语言模型(LLM)部署到移动端和边缘设备已成为行业发展的重要趋势。TensorFlow Lite作为专为移动和嵌入式设备优化的轻量级推理框架，为开发者提供了将复杂AI模型转换为高效、低功耗边缘计算解决方案的强大工具。随着移动设备硬件性能的不断提升和模型压缩技术的快速发展，2025年的移动端LLM部署已不再是遥...
在ACK Edge集群中部署混合云LLM弹性推理
为解决混合云场景下部署LLM推理业务时，流量的不均衡带来的数据中心GPU资源分配问题，ACK Edge集群提供了一套混合云LLM弹性推理解决方案，帮您统一管理云上和云下的GPU资源，低峰期优先使用云下数据中心资源，高峰期资源不足时快速启用云上资源。该方案帮您显著降低LLM推理服务运营成本，动态调整并灵活利用资源，保障服务稳定性，避免资源闲置。
使用TensorRT-LLM部署Qwen2模型推理服务
本文以Qwen2-1.5B-Instruct模型、GPU类型为A10卡为例，演示如何在ACK中使用Triton推理服务 + TensorRT-LLM部署通义千问模型推理服务。模型部署过程中使用Fluid Dataflow完成模型准备工作，并使用Fluid提升模型加载速度。
基于ACK使用rtp-llm部署Qwen模型推理服务
本文以Qwen1.5-4B-Chat模型、GPU类型为A10和T4卡为例，演示如何在ACK中使用rtp-llm框架部署通义千问（Qwen）模型推理服务。
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。