AI 推理 | vLLM 快速部署指南
本文是 AI 推理系列的第一篇,近期将更新与 vLLM 的相关内容。本篇从 vLLM 的部署开始,介绍 vLLM GPU/CPU 后端的安装方式,后续将陆续讲解 vLLM 的核心特性,如 PD 分离、Speculative Decoding、Prefix Caching 等,敬请关注。 1 什么是 vLLM? vLLM 是一个高效、易用的大语言模型(LLM)推理和服务框架,专注于优化推理速度和吞....

智创 AI 新视界 -- 提升 AI 推理速度的高级方法(16 - 2)
全网(微信公众号/CSDN/抖音/华为/支付宝/微博) :青云交 💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,...

在AMD GPU上部署AI大模型:从ROCm环境搭建到Ollama本地推理实战指南
在人工智能和机器学习领域,NVIDIA 公司凭借其 CUDA 计算生态系统和高性能 GPU 架构,已成为大型语言模型(LLM)训练与推理的主导力量。从基础实验到前沿研究,NVIDIA 的技术方案几乎成为了行业标准。作为其主要竞争对手,AMD(YES!)在 AI 计算领域的发展潜力值得关注。 AMD 在 CPU 和 GPU 市场已深耕多年。在处理器领域,AMD 不仅与英特尔形成有效竞争,近期在数据....
高考理科题AI秒解!昆仑万维开源多模态推理模型 Skywork-R1V 2.0
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 「高考理科题AI秒解!昆仑万维开源多模态推理黑科技,数...

首发,Higress AI 网关率先支持 QwQ-32B,推理成本可再降 90%
在各类基准测试中,拥有 320 亿参数的 QwQ 模型,其性能可与具备 6710 亿参数(其中 370 亿被激活)的 DeepSeek-R1 媲美。这意味着: 个人用户可以在更小的移动设备上、本地就能运行。企业用户推理大模型 API 的调用成本,可再降 90%。 📊 价格对比: 如果...

让AI读懂K线图!ChatTS-14B:字节开源的时间序列理解和推理大模型,自然语言提问秒解趋势密码!
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 「金融人必看!字节黑科技让AI读懂K线图:自然语言提问...

医学AI推理新突破!MedReason:这个AI把医学论文变「会诊专家」,8B模型登顶临床问答基准
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 「医生集体点赞!这个AI把医学论文变「会诊专家」,诊断...

用AI精准定位问题代码,调试时间直接砍半!LocAgent:斯坦福开源代码调试神器,多跳推理锁定问题代码
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 「调试时间砍半!斯坦福黑科技让代码问题无处藏身」 大家...

清华联合DeepSeek推出奖励模型新标杆!DeepSeek-GRM:让AI学会自我批评,推理性能越跑越强
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 "奖励模型革命!清华开源神器让AI学会自我批评,推理性...

AI 推理场景的痛点和解决方案
1.推理场景面临的问题 目前 AI 热度极高,各种大模型满天飞,催生出很多 AI 推理的服务。通常我们自己部署一个实验性质的推理服务需要部署推理引擎并加载大模型,就能直接通过 curl 来访问,最多再部署一个 webui 就可以通过图形化界面来发起请求。 而如果是要做一个面向公众的推理服务产品则会复杂很多,要面临更多产品化的问题,需要保证产品的稳定、高效以及高质量的结果...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
AI更多推理相关
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。
+关注