英伟达 A100 GPU 登陆亚马逊云服务 推理性能比

【新闻播报】英伟达与AWS共同庆祝合作十周年,全新P4d实例亮相

随着英伟达与AWS合作的十周年到来,亚马逊弹性计算云(Amazon EC2)推出了全新的P4d实例。这一消息在业界引起了广泛的关注。

全新上市的P4d实例,搭载的NVIDIA A100 Tensor Core GPU计算卡。这款计算卡采用先进的7nm工艺GA100 GPU,拥有高达6912个CUDA核心和432个张量核心。GPU封装尺寸为826mm²,集成了超过540亿个晶体管,展现出惊人的计算性能。

英伟达表示,全新的P4d实例旨在为机器学习训练和高性能计算应用提供AWS上性能与成本效益最高的GPU平台。相较于传统的FP32精度,全新实例采用FP16和TF32精度的机器学习模型训练时间大大缩短,分别减少多达三倍和六倍。这无疑将大大加速科研工作者和开发者们的项目进度,推动机器学习领域的飞速发展。

这些实例在推理性能上也有出色的表现。NVIDIA A100 GPU在最近的MLPerf Inference基准测试中表现出色,相较于CPU,其性能提升了高达237倍。这不仅证明了GPU在机器学习任务中的高效性,也展示了AWS和英伟达合作的深厚实力。

值得一提的是,每个P4d实例内置八个NVIDIA A100 GPU,客户通过AWS UltraClusters,可以利用AWS的Elastic Fabric Adapter(EFA)和Amazon FSx提供的可扩展高性能存储,按需、可扩展地访问多达4,000多个GPU。P4d还提供Gbps网络,结合NVIDIA的NVLink、NVSwitch、NCCL和GPUDirect RDMA等技术,进一步加速学习训练的工作负载。其中,NVIDIA GPUDirect RDMA技术在服务器之间通过GPU直接传输数据,无需通过CPU和系统内存,从而确保网络的低延迟,为学习训练提供更加高效的运行环境。

在信息传递过程中,我们需要注意信息的真实性和准确性。本报道转载自其他媒体,目的在于传递更多信息,并不代表本网对其观点和内容的一致性认可。对于文中陈述的文字和内容,本网并未进行核实。如涉及版权问题,请及时与我们联系,我们将在24小时内处理。对于任何因使用本网转载内容而引起的直接或连带责任,本网不承担任何形式的责任。希望广大读者能够理性看待信息,自行核实相关内容。

申通快递单号查询,申通快递电话,申通快递怎么样,申通快递价格,申通快递查询