
神龙AI加速推理引擎
AIACC-Inference是阿里云推出的神龙AI加速推理引擎,针对阿里云环境进行了深度优化,能够显著提升GPU利用率,大幅提高推理业务性能。目前,AIACC-Inference已创造两项世界纪录:
斯坦福Dawnbench Imagenet 推理延迟最低,世界第一
斯坦福Dawnbench Imagenet 推理成本最低,世界第一
斯坦福Dawnbench Imagenet 推理延迟最低,世界第一
斯坦福Dawnbench Imagenet 推理成本最低,世界第一
能够提供
支持多个框架
Tensorflow, Pytorch, MXNet及其它可导出ONNX模型的深度学习框架进行GPU推理优化
性能提升30%至400%
适用于计算密集的网络模型
支持两种精度模型
FP32和FP16两种精度的模型优化
推荐搭配使用