54_模型优化：大模型的压缩与量化
深度解析大模型瘦身技术与工程实践 大模型优化技术演进 ├── 早期阶段(2018-2020): 基本剪枝、8位量化，性能损失明显 ├── 发展阶段(2021-2023): 知识蒸馏、结构化剪枝，平衡效率与精度 └── 成熟阶段(2024-2025): 混合精度量化、参数高效微调，成本降至原1/30 引言 随着大型语言模型(LLM)的快速发展，...
Proximal SFT：用PPO强化学习机制优化SFT，让大模型训练更稳定
监督微调（SFT）基本上是现在训练大模型时必走的路。不管你要让模型干什么，先用 SFT 让它学会基本的指令跟随和对话能力，然后再通过 PPO 或者 GRPO 这些强化学习方法进一步调优。 但 SFT 有个老毛病：容易过拟合。模型会死记硬背训练数据，泛化能力变差。更要命的是，经过 SFT 训练的模型在后续的强化学习阶段往往探索能力不足，这就是所谓的"熵坍塌"现象 - 模型变得过于确定，生成的内容单....
优化通义大模型推理性能：企业级场景下的延迟与成本削减策略
1 本文基于在金融、电商、医疗等领域的实战经验，深入探讨通义千问、Qwen等模型的推理优化技术栈。将从计算图优化、批处理策略、量化压缩、系统架构四个维度展开，结合Python代码示例和压力测试数据，呈现一套可落地的企业级解决方案。 （1）企业级场景的核心挑战 在企业环境中部署大模型面临三重挑战： 延迟敏感型场景&...
ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践
【阅读原文】戳：ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践 ACK Gateway with Inference Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资...
SPO：如何优化提示词？大模型最懂如何优化自己！开源自监督提示词优化工具，让AI自主优化提示词
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！ AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 「LLM自进化实现！提示优化进入『自助餐时代』：SPO框架开启提示工程2.0时代」 大家好，我是蚝油菜花。当业...
深度解析RAG优化之道：从检索到生成全面升级大模型应用性能，探索提升企业服务质量与用户体验的终极秘密
随着大模型的发展，人们越来越关注如何让这些模型更好地服务于特定任务，特别是在需要大量背景知识的情况下。Retrieval-Augmented Generation（RAG）技术因其能够在生成过程中检索相关文档的特点而受到青睐。但要真正发挥出RAG的优势，优化策略不可或缺。本文将以问答的形式，探讨RAG优化的关键点...
优化一下通义灵码复制代码操作
idea上最新版本的通义灵码,选中代码时右侧滚动条太灵敏了,导致鼠标左键不好选中要复制的代码,希望化一下选中代码操作,选中的时候,滚动条不要那么灵敏
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
通义大模型
阿里云自主研发的通义大模型，凭借万亿级超大规模数据训练和领先的算法框架，实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi
+关注