BladeLLM模型量化
针对LLM模型量化，BladeLLM提供了高效易用的量化功能，包括仅权重量化（weight_only_quant）和权重激活联合量化（act_and_weight_quant），集成了若干主流有效的量化算法，如GPTQ、 AWQ、 SmoothQuant等，同时支持INT8、INT4、FP8等多种数据类型的量化。本文为您介绍如何进行模型量化操作。
模型量化参数配置说明
BladeLLM通过命令行语句 blade_llm_quantize 来执行模型量化操作，生成的量化模型可直接使用BladeLLM进行推理和部署。本文将为您介绍blade_llm_quantize支持的各项配置参数及其说明。
部署DeepSeek-V3、DeepSeek-R1模型
DeepSeek-V3是由深度求索公司推出的一款拥有6710亿参数的专家混合（MoE）大语言模型，DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。Model Gallery提供了标准部署和多种加速部署方式，帮助您一键部署DeepSeek-V3和DeepSeek-R1...
微调DeepSeek-R1
DeepSeek-R1是由深度求索公司推出的首款推理模型，该模型在数学、代码和推理任务上的表现优异。深度求索不仅开源了DeepSeek-R1模型，还发布了从DeepSeek-R1基于Llama和Qwen蒸馏而来的六个密集模型，在各项基准测试中均表现出色。本文以蒸馏模型DeepSeek-R1-Distill-Qwen-7B为例，为您介绍如何微调该系列模型。
DSW跨域拉取海外模型或容器镜像
当您使用海外容器镜像（如：docker.io镜像）创建DSW实例，或者在DSW实例中拉取海外模型时（如：huggingface.co模型），可能由于网络跨域的原因无法正常访问，为解决此问题，您可以创建全球加速GA（Global Accelerator）实例，使用其提供的覆盖全球的网络加速服务，使DSW具备跨域获取模型和镜像的网络访问能力。
赋予LLM视觉理解能力，360人工智能研究院开源中文多模态对话模型SEEChat（1）
作者：冷大炜，360 人工智能研究院刚刚过去的 22 年被媒体誉为 “AIGC 元年”，这一年中 AI 绘画和 chatGPT 相继引爆了全球科技界，成为人工智能领域的两大里程碑事件，特别是 chatGPT 的推出，又重新点燃了人们对通用人工智能 AGI 的新一轮期待，chatGPT 所表现出来的前所未有的逻辑能力和推理能力，让众多 AI 领域的专家和研究人员不禁为之赞叹。与此同时，更多的企业和....
赋予LLM视觉理解能力，360人工智能研究院开源中文多模态对话模型SEEChat（2）
SEEChat v1.0 的训练分为两个阶段：第一阶段是图文对齐训练，使用我们之前开源的高质量中文图文对数据集 Zero [7]，总共 2300 万样本进行训练；第二阶段是人机对齐训练，使用 miniGPT4+LLAVA 开源的指令微调数据经英 - 中翻译后，对第一阶段训练好的模型进行指令微调。下图 7~9 是关于 SEEChat v1.0 在图文对话、代码生成和目标分类能力的简单展示。可以看到....
人大高瓴人工智能学院Nature子刊：尝试利用多模态基础模型迈向通用人工智能
最近，中国人民大学高瓴人工智能学院卢志武教授、孙浩长聘副教授、以及院长文继荣教授作为共同通讯作者在国际综合期刊《自然·通讯》（英文名：Nature Communications，简称Nat Commun）上发表题为「Towards Artificial General Intelligence via a Multimodal Foundation Model」的研究论文，文章第一作者为博士生费....
AI：人工智能的多模态融合模型的简介、发展以及未来趋势
目录人工智能的多模态融合模型的简介、发展以及未来趋势多模态融合模型的简介多模态融合模型的发展趋势多模态常见应用分类1、按照模态分类2、按照功能分类多模态模型案例相关文章：Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读人工智能的多模态融合模型的简介、发展以及未来趋势多模态融合模型的简介 &am...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。