NVIDIA A2和NVIDIA T4在推理性能上孰优孰劣?

RhinoFreak

NVIDIA A2 Tensor Core GPU是服务器入门级产品，采用半高设计，具有低功耗、小尺寸和高性能的特点，在推理方面能够带来加速能力。



NVIDIA A2



NVIDIA A2规格

根据NVIDIA官方的测试结果，与CPU服务器相比，搭载NVIDIA A2 Tensor Core GPU的服务器可提供高达20倍的推理性能



图片来源：NVIDIA

A2搭载的是Ampere架构，采用第三代Tensor核心技术，支持下至INT4的整数运算和上至FP32的浮点运算，能够提供强大的 AI 训练和推理性能。NVIDIA Ampere 架构还支持TF32和NVIDIA 的自动混合精度（ AMP） 功能。采用全新精度标准Tensor Float 32 (TF32) 与64位浮点 (FP64)，能够加速并简化人工智能应用。相比之前的入门级产品T4，在边缘计算场景里，A2性能提升了20%至30%，功耗降低了10%，性价比有60%的提高。不过还是要根据实际场景来测试，目前据客户反馈，T4使用体验还是非常好的。