机器学习PAI_模型推理优化Blade

中国站
文档购物车ICP备案控制台登录立即注册
Blade通用AI推理加速器
Blade是PAI推出的通用推理优化工具,可以通过模型系统联合优化,使模型达到最优推理性能。

方案优势

Blade的所有优化技术均面向通用性设计,可以应用于不同的业务场景,同时对每一步优化的数值结果都进行了准确性验证,从而确保优化结果不会对模型的精度或指标产生非预期影响
多框架
支持主流的机器学习框架,包括 Tensorflow、PyTorch 等
多设备
支持主流加速设备:GPU、CPU、端侧设备
能力强
支持计算图优化、厂商优化库、AI编译优化、Blade高性能算子库、混合精度及Auto-Compression等多种优化技术
易用性
提供 Python 优化包,调用一个接口即可完成模型优化;与 PAI-EAS 深度集成,优化过程无缝嵌入模型上线流程
多框架
多设备
能力强
易用性

技术架构

Blade 模型优化
Blade的所有优化技术均面向通用性设计,可以应用于不同的业务场景,同时对每一步优化的数值结果都进行了准确性验证,从而确保优化结果不会对模型的精度或指标产生非预期影响
方案能力
通用性
采用面向通用性的设计,适用于主流深度学习框架和各类深度学习模型。
效果好
经过大量真实业务打磨验证,具有显著的优化效果。
易部署
提供Python和C++ SDK,无需代码改造即可集成,也与PAI-EAS无缝集成。
相关产品