优化通义大模型推理性能：企业级场景下的延迟与成本削减策略
1 本文基于在金融、电商、医疗等领域的实战经验，深入探讨通义千问、Qwen等模型的推理优化技术栈。将从计算图优化、批处理策略、量化压缩、系统架构四个维度展开，结合Python代码示例和压力测试数据，呈现一套可落地的企业级解决方案。 （1）企业级场景的核心挑战 在企业环境中部署大模型面临三重挑战： 延迟敏感型场景&...
通义千问推理模型QwQ-32B开源，更小尺寸、更强性能
阿里云发布并开源全新的推理模型通义千问QwQ-32B。通过大规模强化学习，千问QwQ-32B在数学、代码及通用能力上实现质的飞跃，整体性能比肩DeepSeek-R1。在保持强劲性能的同时，千问QwQ-32B还大幅降低了部署使用成本，在消费级显卡上也能实现本地部署。此次，阿里云采用宽松的Apache2.0协议，将千问QwQ-32B模型向全球开源，所有人都可免费下载及商用。同时，用户将可通过通义AP....
全模态通义千问Qwen2.5-Omni大模型开源，7B尺寸实现全球最强性能
Qwen2.5的秘密武器 “大脑+嘴巴”双核架构 Qwen2.5-Omni采用Thinker-Talker双核架构。Thinker负责“想”，Talker负责“说”，两者无缝协作！Thinker模块如同大脑，负责处理文本、音频、视频等多模态输入，生成高层语义表征及对应文本内容。Talker模块则类似发声器官，以流式方式接收Thinker实时输出的语义表征与文本...
全模态模型Qwen2.5-Omni开源，7B尺寸实现全球最强性能
今天，通义千问Qwen2.5-Omni-7B正式开源。 作为通义系列模型中首个端到端全模态大模型，可同时处理文本、图像、音频和视频等多种输入，并实时生成文本与自然语音合成输出。 在权威的多模态融合任务OmniBench等测评中，Qwen2.5-Omni刷新业界纪录，全维度远超Google的Gemini-1.5-Pro等同类模型。 ...
仅3步！即刻拥有 QwQ-32B，性能比肩全球最强开源模型
本文详细介绍如何将 QwQ-32B 开源模型部署到函数计算 FC（Function Compute），并通过云原生应用开发平台 CAP（Cloud Application Platform）实现 Ollama 和 Open WebUI 两个 FC 函数的部署。具体来说，Ollama 负责托管 QwQ-32B-GGUF 模型，而 Open WebUI 则用于提供用户界面，支持与模型的交互。 ...
监控vLLM等大模型推理性能
近两年来，随着大语言模型（LLM）的快速普及，AI 推理应用的需求呈指数级增长。以 DeepSeek 为代表的开源大模型凭借其卓越的推理性能和准确性，在开发者社区中迅速走红。无论是企业级应用还是个人项目，DeepSeek 都成为了构建智能对话系统、内容生成工具以及复杂决策支持的核心引擎。然而，随着模型规模的扩大和推理请求量的激增，无论是 DeepSeek 官方服务还是各云厂商推出的推理应用，都逐....
QwQ-32B开源！更小尺寸，仅1/20参数性能比肩满血R1
01.模型介绍 今天，通义千问开源了推理模型QwQ-32B QwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1...
阿里通义开源推理模型新王者！QwQ-32B：性能直逼671B的DeepSeek-R1
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！ AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 “阿里开源推理神器 QwQ-32B：仅靠 32B 参数，数学编程全搞定！” 「32B参数吊打670B？阿里开...
阿里云百炼已上线超强推理开源模型QwQ-32B，尺寸更小，性能比肩DeepSeek满血版
最近的研究表明，强化学习可以显着提高模型的推理能力。例如，DeepSeek-R1通过整合冷启动数据和多阶段训练，实现了最先进的性能，使其能够进行深度思考和复杂推理。 这一次，主要探讨了大规模强化学习（RL）对大语言模型的智能提升作用，同时推出了我们最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与配备 6710 亿参数（其中 370 亿被激活）的 D...
Kimi开源Moonlight-16B-A3B：基于Muon优化器的高效大模型，性能与训练效率双突破！
01前言 最近，Muon优化器在训练小规模语言模型方面展示了强大的效果，但其在大规模模型上的可扩展性尚未得到验证。Kimi确定了两个扩展Muon的关键技术： 权重衰减：对扩展到更大模型至关重要 一致的RMS更新：在模型更新中保持一致的均方根 这些技术使Muon能够在大规模训练中开箱即用，无需超参数调优。扩展定律实验表明，...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
通义大模型
阿里云自主研发的通义大模型，凭借万亿级超大规模数据训练和领先的算法框架，实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi
+关注