BladeLLM模型量化
针对LLM模型量化，BladeLLM提供了高效易用的量化功能，包括仅权重量化（weight_only_quant）和权重激活联合量化（act_and_weight_quant），集成了若干主流有效的量化算法，如GPTQ、 AWQ、 SmoothQuant等，同时支持INT8、INT4、FP8等多种数据类型的量化。本文为您介绍如何进行模型量化操作。
模型量化参数配置说明
BladeLLM通过命令行语句 blade_llm_quantize 来执行模型量化操作，生成的量化模型可直接使用BladeLLM进行推理和部署。本文将为您介绍blade_llm_quantize支持的各项配置参数及其说明。
部署DeepSeek-V3、DeepSeek-R1模型
DeepSeek-V3是由深度求索公司推出的一款拥有6710亿参数的专家混合（MoE）大语言模型，DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。Model Gallery提供了标准部署和多种加速部署方式，帮助您一键部署DeepSeek-V3和DeepSeek-R1...
微调DeepSeek-R1
DeepSeek-R1是由深度求索公司推出的首款推理模型，该模型在数学、代码和推理任务上的表现优异。深度求索不仅开源了DeepSeek-R1模型，还发布了从DeepSeek-R1基于Llama和Qwen蒸馏而来的六个密集模型，在各项基准测试中均表现出色。本文以蒸馏模型DeepSeek-R1-Distill-Qwen-7B为例，为您介绍如何微调该系列模型。
DSW跨域拉取海外模型或容器镜像
当您使用海外容器镜像（如：docker.io镜像）创建DSW实例，或者在DSW实例中拉取海外模型时（如：huggingface.co模型），可能由于网络跨域的原因无法正常访问，为解决此问题，您可以创建全球加速GA（Global Accelerator）实例，使用其提供的覆盖全球的网络加速服务，使DSW具备跨域获取模型和镜像的网络访问能力。
阿里云人工智能平台 PAI 扩散模型加速采样算法论文入选 CIKM 2023
1. 背景 近日CIKM 2023上，阿里云人工智能平台PAI和华东师范大学陈岑副教授团队主导的扩散模型加速采样算法论文《Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models》入选。论文提出了OLSS (Optimal Line...
人工智能的优势：使用 GPT 和扩散模型生成图像
推荐：使用 NSDT场景编辑器快速搭建3D应用场景 世界被人工智能 （AI） 所吸引，尤其是自然语言处理 （NLP） 和生成 AI 的最新进展，这是有充分理由的。这些突破性技术有可能提高各种任务的日常生产力。例如，GitHub Copilot帮助开发人员快速编写整个算法，OtterPilot自动生成高管会议记录，Mixo允许企业家快速启动网站。本文将简要概述生成式 AI，包括...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。