阿里云文档 2025-02-18

部署DeepSeek-V3、DeepSeek-R1模型

DeepSeek-V3是由深度求索公司推出的一款拥有6710亿参数的专家混合(MoE)大语言模型,DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。Model Gallery提供了BladeLLM、SGLang和vLLM加速部署功能,帮助您一键部署DeepSeek-V3和DeepSeek-R1系列模型。

阿里云文档 2025-02-10

微调DeepSeek-R1

DeepSeek-R1是由深度求索公司推出的首款推理模型,该模型在数学、代码和推理任务上的表现优异。深度求索不仅开源了DeepSeek-R1模型,还发布了从DeepSeek-R1基于Llama和Qwen蒸馏而来的六个密集模型,在各项基准测试中均表现出色。本文以蒸馏模型DeepSeek-R1-Distill-Qwen-7B为例,为您介绍如何微调该系列模型。

文章 2025-01-14 来自:开发者社区

FastAPI + ONNX 部署机器学习模型最佳实践

引言 随着人工智能的迅猛发展,将训练好的模型部署到生产环境中,为用户提供实时预测服务,已成为众多企业和开发者关注的重点。然而,模型部署并非易事,涉及到模型格式转换、服务框架选择、性能优化等多个方面。本篇文章将介绍如何结合 FastAPI 和 ONNX,实现机器学习模型的高效部署,并分享其中的最佳实践...

FastAPI + ONNX 部署机器学习模型最佳实践
阿里云文档 2025-01-08

PAI-Rec 模型部署到PAI-EAS

模型部署到PAI-EAS介绍完成补数据和模型训练以后,下一步是将模型部署到PAI-EAS,进行线上打分。操作指南在DataWorks中找到部署脚本点击解锁,进行修改脚本将最后一行代码注释,倒数第二行代码取消注释。倒数第二行是创建PAI-EAS服务的命令,最后一行是更新模型的命令。第一次执行需要执行创...

阿里云文档 2024-12-03

Llama-3模型部署与微调

Llama-3是Meta AI推出的开源大语言模型系列(接近GPT-4级别)。该系列模型利用超过15万亿Token的公开数据进行预训练,提供Base和Instruct等多版本、多规模的开源模型,从而满足不同的计算需求。PAI已对该系列模型进行全面支持,本文以Meta-Llama-3-8B-Instruct模型为例为您介绍如何在Model Gallery中部署和微调该系列模型。

阿里云文档 2024-11-20

通义千问1.5模型部署与微调

通义千问1.5(qwen1.5)是阿里云研发的通义千问系列开源大模型。该系列包括Base和Chat等多版本、多规模的开源模型,从而满足不同的计算需求。PAI已对该系列模型进行全面支持,本文以通义千问1.5-7B-Chat模型为例为您介绍如何在Model Gallery中部署和微调该系列模型。

文章 2024-08-31 来自:开发者社区

揭秘Uno Platform状态管理之道:INotifyPropertyChanged、依赖注入、MVVM大对决,帮你找到最佳策略!

Uno Platform 作为一款跨平台框架,其状态管理策略对于开发者来说至关重要。本文将对比分析 Uno Platform 中的几种状态管理策略,帮助开发者更好地选择适合自己项目的状态管理方案。一、状态管理概述在跨平台应用开发中,状态管理是指对应用中的数据状态进行统一管理和维护的过程。 Uno Platform 提供了多种状态管理策略,如...

文章 2024-08-31 来自:开发者社区

TensorFlow Serving 部署指南超赞!让机器学习模型上线不再困难,轻松开启高效服务之旅!

TensorFlow Serving 是一个用于部署机器学习模型的高性能开源服务系统。它能够简化模型上线的过程,提供高效的模型服务。以下是一个详细的 TensorFlow Serving 部署指南,通过代码示例来展示如何让机器学习模型上线变得简单。 首先,确保你已经安装了 TensorFlow Serving。可以使用以下命令进行安装: p...

文章 2024-08-16 来自:开发者社区

【Python奇迹】FastAPI框架大显神通:一键部署机器学习模型,让数据预测飞跃至Web舞台,震撼开启智能服务新纪元!

在当今的数据驱动时代,机器学习模型已成为解决复杂问题的关键工具。然而,模型的真正价值不仅在于其准确性,更在于如何高效、便捷地将这些模型部署到实际应用中,为用户提供实时预测或决策支持。FastAPI,作为一个现代、快速(高性能)的Web框架,用于构建API,以其易用性、高效...

问答 2023-12-18 来自:开发者社区

想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型?

想问下机器学习PAI,如何本地用triton部署 pai-tf训练的模型?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

人工智能平台PAI

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

+关注