通义大模型优化框架的相关内容

文章 2025-05-16 来自：开发者社区

RAG-MCP：基于检索增强生成的大模型工具选择优化框架

面对工具生态系统扩张，大型语言模型的工具选择能力因提示词膨胀而受限。RAG-MCP通过检索增强生成技术实现动态工具选择，显著提升处理效率与准确率。本文深入剖析其技术原理与应用价值。大型语言模型（LLMs）如GPT-4、Claude和Llama的发展标志着人工智能领域的重大突破。这些高级模型展现出卓越的文本生成、逻辑推理及编程能力。尽管技术先进，LLM仍然面临训练数据固化和上下文窗口有限的基础性约....

文章 2025-02-11 来自：开发者社区

CoAT: 基于蒙特卡洛树搜索和关联记忆的大模型推理能力优化框架

研究者提出了一种新的关联思维链(Chain-of-Associated-Thoughts, CoAT)方法，该方法通过整合蒙特卡洛树搜索(Monte Carlo Tree Search, MCTS)和关联记忆机制来提升大语言模型(LLMs)的推理能力。区别于传统的单步推理方法，CoAT致力于增强LLM的结构化推理能力和自适应优化能力，实现动态知识整合。主要技术创新 CoAT框架的技术特点 ...

文章 2024-05-31 来自：开发者社区

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架] 训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用.....