阿里云文档 2024-07-05

使用LMDeploy部署Qwen模型推理服务

本文以模型为Qwen1.5-4B-Chat,GPU类型为A10卡为例,演示如何在ACK中使用LMDeploy框架部署通义千问(Qwen)模型推理服务。

阿里云文档 2024-07-02

基于ACK使用TGI部署Qwen模型推理服务

本文以Qwen1.5-4B-Chat模型、GPU类型为A10卡为例,演示如何在ACK中使用Hugging Face的TGI(Text Generation Inference)框架部署Qwen(通义千问)模型推理服务。

使用Higress AI网关优化AI调用成本

1 课时 |
68 人已学 |
免费

基于通义灵码实现高效 AI 编码

10 课时 |
267 人已学 |
免费

通义灵码 AI 编码实战7讲

11 课时 |
1882 人已学 |
免费
开发者课程背景图
阿里云文档 2024-07-01

部署GPU共享推理服务

在某些场景下,您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat,GPU类型为V100卡为例,演示如何使用KServe部署GPU共享的模型推理服务。

阿里云文档 2024-06-28

集群运行时动态新增数据源

由于Kubernetes运行中的Pod无法动态修改Volume的配置,需重启Pod才能执行新增、删除或修改数据集等操作,Fluid提供的数据源动态挂载能力,能够帮助开发和运维人员在自己的开发测试环境解决数据集动态加载的问题。

阿里云文档 2024-06-20

AI模型推理服务在Knative中最佳配置实践

Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,适用于需要频繁调整计算资源的AI应用场景,例如模型推理等。您可以通过Knative Pod部署AI模型推理任务,配置自动扩缩容、灵活分配GPU资源等功能,提高AI推理服务能力和GPU资源利用率。

问答 2024-06-12 来自:开发者社区

新开 PAI 这个产品, 这部分和 容器内的云原生 AI 套件有什么关系嘛?

新开 PAI 这个产品, 这部分和 容器内的云原生 AI 套件有什么关系嘛?

问答 2024-05-23 来自:开发者社区

在云原生 AI 套件如果容器迁移了,重启了,我额外pip install的依赖不是没了吗?

在云原生 AI 套件如果容器迁移了,重启了,我额外pip install的依赖不是没了吗?

问答 2024-05-22 来自:开发者社区

阿里语音AI有几个问题想咨询下,私有化信创环境容器化部署是否支持?

阿里语音AI有几个问题想咨询下,1、私有化信创环境容器化部署是否支持?2、收费方式。

问答 2024-05-07 来自:开发者社区

阿里语音AI阿里云mrcp服务提示这个报错,就不会返回识别内容,重启容器才恢复正常为什么?

阿里语音AI阿里云mrcp服务提示这个报错,就不会返回识别内容,重启容器才恢复正常?这几天才发现这样的

问答 2024-03-27 来自:开发者社区

如果云原生 AI 套件在 ecs 里面部署 ack,那ecs 里面的起的容器可以用上rdma网络吗?

云原生 AI 套件的阿里 ecs 里面可以挂载 erdma 网卡,如果在 ecs 里面部署 ack,那 ecs 里面的起的容器可以用上 rdma 网络吗?我看 ecs 里面最多只能挂载2块 erdma 网卡,那如果我在 ecs 里面起很多容器,这么多容器如何共享这两块 erdma 网卡呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注