请问modelscope中做量化swift和tensorRT llm有区别吗?

请问modelscope中做量化swift和tensorRT llm有区别吗?

modelscope的pipeline方法,是否可以实现对tensorrt模型?

modelscope的pipeline方法,是否可以实现对tensorrt模型或是其他格式的模型的调用,及推理?

个性化语音合成模型微调

1 课时 |
229 人已学 |
免费

ModelScope社区Library技术架构介绍

1 课时 |
210 人已学 |
免费
开发者课程背景图

使用modelscope的pipeline代码,如何实现tensorrt或是其他格式模型的调用推理呢

目前由于工作需要,可能需要将modelscope的pipeline迁移到arm架构的边缘设备上进行服务部署。但是为实现在边缘模型调用相应的硬件加速推理,需要将原始的pytorch或tensorflow模型转成边端设备适配格式的模型。同时,还要实现pipeline加载这种格式的模型,来实现对模型的正常...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
视觉AI能力的开放现状及ModelScope实战
ModelScope助力语音AI模型创新与应用
立即下载 立即下载