模型 | 产品 | 总显存 | 总吞吐 | 并发 |
|---|
DeepSeek R1-BF16(671B) | APG | 1.5TB+ | 3170 tokens/s | 256 |
DeepSeek V3-BF16(671B) | APG | 1.5TB+ | 3170 tokens/s | 256 |
产品 优势 | 优化 vLLM 框架,引入最新 MLA 技术降低显存占用 | |||
模型 兼容 | LLM:DeepSeek-R1/V3、DeepSeek-Distill、Qwen、LLaMa、Baichuan、ChatGLM | |||
多模态:Qwen-VL、StableDiffusion、Bunny-LLaMa-3-8B-V、LLaVa、mini-gemini、intervl、GigaGAN | ||||

阿里云已联合国家电网安徽省电力公司,顺利完成依托阿里云AI Stack + Qwen 全尺寸/ DeepSeek R1 671B bf16满血版模型的测试部署和服务上线,帮助用户实现大模型开箱即用。