借助 Alibaba Elastic Accelerated Computing Instances,您可以将低成本 GPU 驱动的加速附加到 Alibaba ECS 任务,以将运行AI推理、渲染、编解码的成本降低多达50%。Alibaba Elastic Accelerated Computing Instances支持 TensorFlow、PyTorch 和 ONNX 模型。

推理是使用经过训练的模型做出预测的流程。在深度学习应用程序中,推理最高占总运营成本的 90%,其原因有二。首先,独立 GPU 实例通常专为模型培训而设计,而非用于推理。虽然训练作业可并行批量处理数百个数据样本,但推理作业往往会实时处理单个输入,因而仅占用少量 GPU 计算。这使得独立 GPU 推理成本高且效率低。另一方面,独立 CPU 实例不是专为矩阵操作提供的,因此对于深度学习推理来说过于缓慢。其次,不同模型对 CPU、GPU 和内存的要求也各不相同。针对某项资源进行优化可能导致其他资源利用率低下,成本增高。

Alibaba Elastic Accelerated Computing Instances 可以解决这些问题,方法就是允许您将适当数量的 GPU 驱动的推理加速连接到任何 ECS 任务,而无需更改代码。借助Alibaba EAIS,您可以针对您的应用程序的整体计算和内存需求在 Alibaba Cloud 中选择最适用的 CPU 实例,然后再分别配置所需量级的 GPU 驱动推理加速,从而有效利用资源,降低成本。